VMagicMirrorを使ってDiscordとか動画とかにVRM3Dアバターを出す

こんにちは。pilkulです。

「VMagicMirror」というソフトがあったので遊んでみました。下がその動画です。素晴らしい。

webカメラがあれば顔のトラッキングも可能らしいですが、この動画ではやっていません。単に、声の大きさだけ読んでリップシンクしてもらっています。

良い点

かなり軽い
VRM形式のモデルをすぐ入れられる
webカメラがなくても、マイク音量から口元の動きに反映してくれる
webカメラがなくとも、マウス入力・キーボード入力を認識し、自動的にモーションに反映してくれる　（ゲームパッドなども可能とのこと）
「ゲーム入力モード」にすると、ゲーム時の入力をモデルの動きに反映してくれる（WASDを押すとその場ダッシュ、左クリックで射撃、あとは近接攻撃・ジャンプ・しゃがみなど）
その他いろいろな機能があるので使い切れない

-----

以下セットアップ。

・アバターファイル（VRMファイル）を作成。

　今回は「VRoid Studio」で簡単に調整。サイトからも読み込めるとのこと。

・「VMagicMirror」をインストール。

・起動して各種設定。

　・[背景を透過]は、デスクトップに置きたい時に適用。動画撮る時は通常通り背景色そのままで、OBSでクロマキー切り抜きするのがよい。

　・[リップシンク]をon。

　・webカメラがあるなら[顔トラッキング]をon。負荷あるかも。

　・[タイピング/マウス動作を反映]をon、[打鍵をランダム化して入力を隠す]をon。[右手のマウス動作をFPS対策モードにする]をon。[待機モーションを有効化]をon。

　・[フリーカメラモード]・[フリーレイアウトモード]でカメラやキーボード位置を調整。その視点をスロット[1][2][3]に保存しておく。例えば[1]が顔中心、[2]が全身。

　・エフェクトはPC性能を見て設定。

　・[ゲームパッド入力のキャプチャを有効化]は使う時だけon。

・もし[ゲーム入力モード]を使うは、カメラを全身に切り替えておく。あとキーボードは一時的に消す。

・[動き方メニュー]で設定。WASDで移動、Spaceでジャンプ、左クリックで銃撃ち、右クリックでしゃがみなど。[1人称(常に前を向く)]・[3人称(前を押すと奥を向き、後ろを押すと手前を向く)]はお好み。FPSゲームの画面下側にアバターを置いている時は1人称かつ後ろ向きがいいかな。

・その他発展項目はそれぞれいじる。

・設定を保存。特に、[VRMを毎回読み込む]にチェックを入れておく。

・OBS Studioを起動し、VmagicMirrorウインドウを読み込む。クロマキーで背景を抜く。

・あとは、通常通り、動画を撮る時・配信する設定をすればよい。

・なお、OBSの[仮想カメラ]をonにして、discordなど通話ソフトのwebカメラに設定することもできる。ただこの機能は少し負荷が大きい。画面共有でも構わない。

※その他、Unity Video Captureなどを用いることで仮想カメラにできるらしいものの、自環境ではうまく動作せず。

-----

webカメラを持っておらず、導入もPCの負荷的に厳しそうなので、声だけで表情が動いてくれるところは個人的にかなりうれしい。

スマホのアプリでトラッキングしてもらって、それを送れば負荷は軽減されるのだろうか。

手の完全シンク機能なんかもいつかは試してみたいなあ。