AIから女の子を作り出し、自分が女の子になれるのか？
はじめに
記事タイトルを見て「犯罪か…？」と思った皆さん。ヤバい話でもないし、ドラえもん的秘密道具があるわけでもありません。AIはあります。
ある日、暇つぶしにDLSiteを見ていると目に入った商品。
いわゆる、AIでオリジナルキャラクターを作り出そうぜ！！！って感じのツールです。
そんなこと可能なんか…って思いましたが、大学でAIについての講義を聞いていたときの記憶を必死に辿るとStyleGANっていうやつがあったことを思い出す。
参考リンク
GANの基礎からStyleGAN2まで. この記事について | by Akihiro FUJII | Medium
ニューロンネットワークとか教師あり学習とか色々難しい話があったりするのですが、こういう専門的なことに知ったかでそれっぽいこと書くと「適当なこと書くな！」って滅茶苦茶炎上するのでやめます。滅茶苦茶適当なこと言うと、色んな女の子の画像をAIに学習させて、その学習データを元に女の子を作り出すといったものです。最近のAI技術ってスゲ～
気になって調べると色んな人がオリジナルの女の子を作り出す研究に手を出してるっぽく、特にAydao氏のThis Anime Does Not Existというサイトは一見の価値あり。色んな女の子がオリジナルとして羅列される姿を見ているだけでも感動します。新たな時代…！
そこで閃いたのは
「AIキャラクターメーカーで作り出した女の子を使えば、（簡易的な）Vtuberになれるんじゃね？」
1. 女の子を生み出す
まずはVtuberとしての姿である女の子をAIキャラクターメーカーで生み出します。
使用画面はこんな感じ。適当にシードを突っ込んで、目当ての女の子が来たら上のTruncaptionPsi（AIの独創性を高める奴？）をいじって微調整をするといった感じ。
TruncationPsiの値が大きくなるほど独特なキャラクターが生まれますが、高すぎるとモンスターみたいな女の子が生まれてしまうので注意です。それはそれで面白いですが…
筆者はこの女の子を作りました。2枚並んでるのはTruncationPsiの値を変えて微妙に変化させたもの。髪に謎の鉄みたいなものがくっついてますが、それはそれで創造性があってよしですね。
画像検索しても見つからないので筆者が初めて生み出した女の子となります。やったー！名前はぶんこにしました。
配信しながら視聴者とプロフィールを考えましたが、性格の悪いコンビニアルバイト店員が出来てしまった。このままだと最悪の女が過ぎるのでボツプロフィールになりました。
2. 女の子を動かす
Vtuberは（多分）FaceRigとか3Dトラッカーとか使って顔を動かしたりするのでしょうが、
・技術力
・絵力
・資金力
この3つの力がない筆者にはそこまで難しい行為はできません。そこで利用させてもらったのがpuppet3です。
雑に言うなら、4枚のイラストを使ってVtuberっぽく動かそうぜ！っていった感じのソフト。4枚を切り替えることで「目瞑りをし、音声を認識したときには口をパクパクする女の子」を表現できる素晴らしいソフトウェアです。このソフトがなかったら今回の記事は書けなかったので大変感謝です。
用意するイラストとしては
・目をつぶっていて口が閉じてる
・目をつぶっていて口が開いてる
・目が開いていて口が閉じてる
・目が開いていて口が開いてる
この4種類が必要になります。
口の差分に関しては簡単に用意ができそうです。先ほどの写真2枚の口の部分を入れ替えるだけで簡単に表現ができます。
問題は目瞑り。
絵心がない自分には、目を瞑った差分を書くのはとても難しいです。そもそものっぺらぼうの女の子を用意するところからか…
のっぺらぼうの女の子はPaint.netというペイントツールのSmudgeプラグインを使って作りました。Smudgeはいわゆる絵の具を指で薄く延ばすように色を塗るプラグイン。これで目の部分を切り取ってからそれっぽく塗りました。
その影響か髪がぼけぼけになってますが、目瞑りの瞬間しか表示されない差分イラストなのでバレないことを祈って見逃しました。
目瞑りもまゆ毛をいじってそれっぽく。違和感がないといえばウソですが、目瞑りの瞬間しか（以下略
これで4枚そろいました。多少目瞑りの瞬間は違和感が出てしまいますが、それっぽくは見えますね。
3. 女の子ボイスを出す（未解決）
ここが一番の難所です。まだ解決策が分かってません。
筆者はいわゆるキモオタローボイスおじさんなので地声が最悪レベルに低い声です。女の子の声からは程遠い…
これを解決するには、
・ヤバい薬か何かで女の子になる
・音声認識で自分の声をテキスト化し、これをボイスロイドや棒読みちゃんに読ませる
・ボイスチェンジャーを使う
この3つの方法が挙げられると思います。1つ目は無理なのであとの2つが現実的ですね。
2つ目の方法は、「ゆかりねっと」と「ゆかりねっとコネクター」、そして「UDトーク」を用いた方法になります。詳しくは琥珀氏が書いた記事がとても分かりやすいです。
いわば、
…『ちゃんと喋る』となんですよね。どうやら筆者の地声が低すぎて、雑談のように意識しないで喋ると誤認率がかなり上がってしまいました。油断すると支離滅裂なことを話す女の子が完成です。
3つ目の方法の『ボイスチェンジャーを使う』が今難航中です。
有料ボイスチェンジャーも検討してみたのですが、まず恋声が上手くいかない時点で駄目では？というところです。VoiceModとかはかなり興味あるのですが怪しい宣伝ツイートが湧いてて…有料版を使用した人は感想を教えてほしいです。
といったわけで、女声を出すことには今のところ成功していません。解決策、求む…
まとめ
・女の子の絵は作れた
・女の子を動かすことはできた
・女の子の声は出せてない
・よって女の子には（まだ）なれてない…
こういった感じです。絵心が何も存在しなくてもオリジナルの女の子が作り出せるAIといったものは凄いものだなぁ…と実感できただけでも、AIキャラクターメーカーを買った甲斐があります。このソフトウェアを開発してくださった方に感謝を申し上げます。
また、今回はPuppet3を使用した簡易的なVtuberもどきですが、ちゃんと絵師とかに依頼してLIVE2D化できるように差分やポーズ替えとか書いてもらうのも面白そうです。依頼する際に、「この女の子を書いてほしい！」と、AIキャラクターメーカーの女の子を提出することでやり取りがスムーズになること間違いなし。Vtuber以外の目的でも役に立ちそうですね。
声自体の問題は筆者の地声が低すぎることが問題ですし、ボイストレーニングやより良質なボイスチェンジャーを購入したりと、解決策はいろいろありそうです。いい案がありましたらコメント等で教えていただけると幸いです。
余談
『色んな女の子の画像をAIに学習させて、その学習データを元に女の子を作り出すといったものです。』
この学習データ、著作権的に大丈夫？となり、色々調べてましたがAIキャラクターメーカーの作者が既に返答を出してました。ツリーを読んでみると分かりますが、大丈夫みたいです。
ある方から「AIキャラクターメーカーは、AIの学習に著作物であるイラストを使用していないか？使用しているのならば著作権法違反になるのではないか？」という旨のご連絡を頂きました。
— SomaliStudio@AIキャラクターメーカー発売中 (@SomaliStudio_IT) 2021年2月4日
質問者様と同様に不安に感じている方がいらっしゃるかもしれないので共有させていただきます。
以下続きます。
また、最近のボイスチェンジャーもAIを利用されたものが開発されているみたいです。無料でDEMOが公開されているので、よければ試してみてください。かなり変換が上手くいってて結構感動します。
https://twitter.com/SomaliStudio_IT/status/1357307133927149573?s=20
https://twitter.com/SomaliStudio_IT/status/1357307133927149573?s=20
https://twitter.com/SomaliStudio_IT/status/1357307133927149573?s=20
https://twitter.com/SomaliStudio_IT/status/1357307133927149573?s=20
https://twitter.com/SomaliStudio_IT/status/1357307133927149573?s=20
