Tau's Degital Art's -２号館-

文章からモーションを作成するAIなど、モーション自動生成AIの開発が世界中で進められています。


日本でも、文章からモーションを作成するAIを開発された方がいらっしゃいます。

miuさんが開発した、文章からMMDモーションを作成するAIを使ってみました。

まずは、手順に従って、セットアップしていきました。


文章は日本語または英語で入力します。ここでは「Hip Hop & func music dancing」と入力しました。他のパラメータはいじっていません。


6秒ほどのモーションですが、作成成功です。googleドライブのtext2motionフォルダにもモーションデータが格納されました。



早速適用。


どこがHip hop & Funcだと言いたくなるが、ちゃんと動いていました。


MMD4Mecanimがあれば、Unity上でも使えます。やり方は以前「DazキャラにMMDモーションで踊ってもらう」で解説しています。


Zingさんに踊っていただいたら、こうなりました。Func musicと一緒にお楽しみください。４つほどモーションが出来上がっていましたが、全てつなげて30秒程度になっています。



motion Text2Motion (AI自動生成) (c)miu200521358 model Zing : Tau Subaru ※morphのみですが配布しております。 https://tau6230.booth.pm/items/2403732 music Wellington Joke - Short Version : Manos Mars https://artlist.io/jp/song/1554/wellington-joke

、VRM形式のキャラをPMXに変換してMMDで躍らせる方法は様々な人がブログなどにアップしているので、ここでは

VRoidモバイルで作成したキャラをPMXにする

っていうのをやってみようと思います。

【事前準備】
VRoid HUBに入るためには、pixiv IDが必要になります。pixiv IDを作成しておきましょう。


今回は変換後のPMXの調整に、標準ボーンチェッカー、準標準ボーン追加(PMX)プラグインを使用します。



【VRoidモバイルからVRMへ】
スマホまたはタブレットにVRoid モバイルをダウンロードしてインストールします。


こんなキャラを作ってみました。


「VRoid HUBでキャラクターを公開する」を選択します。

今回は公開で登録しました。




PC上で、VRoid HUBにWebブラウザでアクセスしてログイン後、作成したキャラを表示しましょう。下のほうに「他の人の利用」という項目があります。「自分のモデルをダウンロード」をクリックします。
※着用した服などのアイテムによってはダウンロード不可になる場合があります。


「VRoidモバイルで作成したモデルデータの利用条件」をよく読んだうえでダウンロードをクリックします。
※「VRoidモバイルで作成したモデルデータの利用条件」の詳細は下のリンクから確認できます。目を通すことをお勧めします。


このようにVRM形式でダウンロードされます。


以前紹介したVRM2PMXConverterを使用してPMXに変換します。



変換されたPMXを調整していきます。


標準ボーンチェッカーを実施します。


このメッセージが表示されたら、「いいえ」をクリックします。
※ボーンの並べ替えを実施してしまうと、ボーン構成がぐちゃぐちゃになってしまう場合があります。


次に準標準ボーン追加(PMX)プラグインを実施します。


こんな感じで準標準ボーンを入れてしまいましょう。


髪のテクスチャが変だ・・・


なので、材質から髪のテクスチャを少しいじります。


髪のテクスチャが何故か3層構造になっておりまする！！


PMXファイルのある場所にtexフォルダができていますが、テクスチャはこの中に格納されています。幸い元の髪のテクスチャも一緒に格納されていましたので、テクスチャを変更していきます。


お好みでエッジを有効にするなどして、保存します。
肌の色が若干赤みがかっていたので、環境色を白に設定しました。


MMDで躍らせた結果がこれです↓


motion 【第11回MMD杯Ex】銀さんで九龍レトロ【モーション配布あり】: tazu https://www.nicovideo.jp/watch/sm21637239 model M2 : Tau Subaru https://hub.vroid.com/characters/1434355921033624220/models/2060829326738784840 (PMX Convert) music 九龍レトロ-Inst. : トーマ https://piapro.jp/t/tjnP

物理演算などの細かい調整は必要になるとは思いますが、とりあえず躍らせるというミッションはクリアできたので、これで良しとしよう。

Petuniaさんのツインテールを物理演算で動かします。

Petuniaさんのツインテールのボーンはこうなっています。3つのボーンで構成されています。






こちらはミクアペンドさん。ツインテールが長いのでボーン数が多くなっています。IKも入っています。




ミクアペンドさんを参考に、ツインテールにIK入れていきます。

剛体もミクアペンドさんを参考に入れました。

Jointはこんな感じ。

テクスチャを若干修正し、完成です！
MMDで動かしてみました。背景がつくと、立派なMMD動画になるから、すごいものです。
モーションに若干変な動きがあるものの、DazキャラをMMDに持ってくるというミッションは達成したので、これで良しとしよう。

motion

Carnival : fm

(Original monio)

model

Petunia : Daz studio model→pmx model convert

music

Carnival(Len Kagamine version) by 黄鏡博人

(Original otetsu)

(https://piapro.jp/t/H05d)

Petuniaさんのモーフはこのようになっております。これをMMDの表情モーフと対応付けていきます。

問題は、どれがMMDのどの表情モーフに対応するかです。

まばたきに相当するのは本来でしたらeCTRLEyesClosedですが、TransformViewで確認したところ、全く動かなかったので、仕方ないので、「まばたき」グループモーフを新たに作成し、eCTRLEyesClosedRとeCTRLEyeysClosedLを登録しました。
※eCTRLEyesClosedRは「ウィンク右」eCTRLEyeysClosedLは「ウィンク」に名称変更しました。

両目を閉じるようになりました（しっかり閉じられないけど）。

しかし、ここでとんでもない事実が・・・。

eCTRLSmileFullFace_HDで、まつげが表情に追随していない・・・。これどうしようか迷いましたが、このまま行くことにしました。eCTRLSmileFullFace_HDは「笑い」に名称を変更しました。
それにしても、まつげが追随するものとしないものがあり、これ何が違うんだろと考え込んでしまいました。もしかするとDaz to Blenderのバグかもしれませんが、アップデートを待ちましょう。


どのモーフがどう対応するかは、pmxモデルと見比べて決めていきました。これは根気のいる作業です。

不要なものを削除し整理した結果、これしか残りませんでした。

恐ろしい子！	eCTRLShock HD
にっこり	eCTRLSmile Open Full Face HD
あ	eCTRLvAA
い	eCTRLvIY
う	eCTRLvUW
え	eCTRLvEE
お	eCTRLvOW
あ２	eCTRLMouth Open
笑い	eCTRLSmile Full Face HD
びっくり	eCTRLSurprised HD
怒り	eCTRLAngry HD
にやり	eCTRLMouth Smile
ん	eCTRLMouth Frown
▲	eCTRLLips Pucker Wide
はぅ	eCTRLEyes crossed
ウィンク右	eCTRLEyesClosedR
ウィンク	eCTRLEyesClosedL
まばたき	グループ（ウィンク右、ウィンク）
なごみ	グループ（eCTRL EyesSquintR、eCTRL EyesSquintL）
にやり２	グループ（eCTRLMouthSmileSimpleR、eCTRLMouthSmileSimpleL）

モーション付けてみたところ。表情とリップがちゃんと動いているのがわかります。

motion

Carnival : fm

(Original monio)

model

Petunia : Daz studio model→pmx model convert

music

Carnival(Len Kagamine version) by 黄鏡博人

(Original otetsu)

(https://piapro.jp/t/H05d)

閑話休題です。
Dazのサイトでこのようなものを発見。


馬人間だ！
で、思いついたのが、

はあちゃるさん。
MMDモデルは以下で入手可能です。


Horseman for Genesis8.1でばあちゃるさん再現（くだらね～）。
このようになりました。


スーツには以下を使用。


赤色ネクタイは以下で再現。


いや～、ワロタ...