AIVtuberシロハナちゃんの開発プロデュースをしているyukiです。

AITuberやAIキャラクターなどを作るときにビジュアル部分は1つの重要な点でどれを選択するか迷いますよね。

主流なもので言うと「3Dモデル」「Live2D」辺りでしょうか。
しかし、オリジナルモデルで品質を求めるとハードル高かったり、外注すると費用高いのが課題！

それ以外だと単純に静止画も考えられますが、話す時に動きやリップシンクがないと物足りない気もします。

そこで今回は、画像差分だけで音声に合わせたリップシンクや瞬き、表情変化も含めた、ちょっとした動きを演出できる「veadotube mini」の紹介と活用について解説していきます。

いわゆるPNGtuberとして使用されているツールです。

本記事の内容は動画でも解説しています。

※この記事は2025/1/26時点のものなので今後変更があるかもしれないですのでご了承ください

veadotube miniとは？

画像差分（例：目パチ口パク差分4枚など）で音声に合わせたリップシンクや瞬きなどの動きを付けられるシンプルで使いやすいツールです。

つまりキャラクターが話している動きが画像差分だけで演出できます。

インストールしてみる(無料)

上記リンクにアクセスしてダウンロードでOK

上記のような表示が途中で出ますが、No thanks, just take me to the downloadsで無料ダウンロードできます。
※支援したい方はこちらから金額設定してダウンロードしましょう

zipがダウンロードされたら展開して、veadotube-mini.exeを実行することでソフトが起動します。

各種設定して動かしてみよう

では実際にveadotube-miniの各種設定をして実際にキャラクターを動かしてみましょう。

画像差分の準備

まず前提となる画像差分を用意しましょう。
下記のパターンが最低限必要かなと思います。

• 目が開いており、口も開いている

• 目が開いており、口が閉じている

• 目が閉じており、口が開いている

• 目が閉じており、口が閉じている

他に後半で紹介するような表情変化もしたい場合は上記の要領で、その表情の画像差分をご用意ください（例えば笑顔など）。

画像を登録してリップシンクと瞬きさせてみる

では先ほど用意した画像をveadotube-miniにてセットしましょう。
右端にある差分4種あるところに、対応する画像差分をそれぞれセットしていく感じです。

これでマイクを選択して、発声するとそのマイクに入力された音声をもとにリップシンクがされます。
瞬きはペンアイコンにあるblink intervalというところで、間隔を設定できます。

ちなみに、左端のバー(microphone volume)の▶で、どのくらいの音量でリップシンクされるかのしきい値を設定できます。

その隣のmicrophone delay durationの▶はリップシンクが閉じる遅延を設定できるみたいです。

ちなみにデバイスマイクを使用する際はnoise reductionをnoneから変更することでノイズを軽減できるのでおすすめします。

ちょっとした動きを付けてみる

state effectsで設定してシンプルな動きを付けることができます。

effectsとtransitionsの違いとしては一旦以下のように理解しています。

• effects：音声がしきい値を超えている or 超えてない間にずっと発火

• transitions：音声がしきい値を超える瞬間 or 元に戻る瞬間にだけ発火

ちなみにeffectsは5種ほどパターンがありますが、transitionsは現状jumpしかないです。

👁アイコンについては以下のような設定になります。

• effects：左目が空いている時は音声がしきい値を超えていない時に発火。右目が空いている時は音声がしきい値を超えている時に発火。

  • 例①：左目が空いている場合：話してない時にずっとジャンプして、話しているときは何もない

  • 例②：右目が空いている場合：話してない時は何もなく、話している時にジャンプ続けている
    

• transitions：左目が空いている時は音声がしきい値を超える瞬間に発火。右目が空いている時は音声がしきい値が超えている状態から元に戻る瞬間に発火。

  • 例①：左目が空いている場合：話し始めたときに1回だけジャンプする。

  • 例②：右目が空いている場合：話し終えて音声のゲージが元に戻る際に1回だけジャンプする。

こちらは両目開いたり閉じたりもできるので、用途に合わせて設定してみましょう。
また、それぞれのモーションの詳細設定もできます。（モーションの箇所をクリックで詳細設定が開いて移動の大きさや速度など調整可能）

AITuber・AIキャラ用で使う設定

上記の解説で基本的なPNGtuberとしての設定や機能の紹介はカバーできたと思います。

次に配信用途やAIキャラ用途に関連する設定を紹介していきます。
PNGtuberの応用となる部分でもありますが。

マイクデバイスを変更

まず、マイクですが通常だと人の音声を拾うマイクデバイスだと思いますが、AIキャラクターの音声だけ拾ってリップシンクに反映させたいので、仮想デバイスなどにします。

例えばVB-Cableなどが有名ですね。
こちらでAIキャラの音声を出すようにして、veadotube mini側で反映させるみたいなイメージとなります。

そうするとAIキャラの音声に合わせてリップシンクやモーションが作動するのでAIキャラが話している内容と同期できる感じですね。

spout streamで配信画面に反映

次に配信画面に投影する方法の紹介です。
単純にOBSのウインドウキャプチャでも可能ですが、veadotube miniをウインドウ最小化すると反映されなくなるので、spout streamで表示する方法を私は推奨します。

まず、spout streamをonにします。

OBSでは下記のSpout2 Captureをインストールする必要があります。

https://github.com/Off-World-Live/obs-spout2-plugin/releases

そして、OBSでSpout2 Capture 2というソースを追加できるようになるはずなので、そこでveadotube miniのウインドウを選択すればOKです。

背景透過はフィルタ > エフェクトフィルタ > クロマキーでグリーンバックを透過できます。

ちなみにShoostでは下記の手順で出来ます。

Spout Settingにチェックを入れる。

レイヤーでSpout Captureにしてveadotube miniを選択することで反映されます。
クロマキーを有効にするとグリーンバックは透過されます。

表情変化のやり方

表情変化についてはショートカットキーを使用します。
まずは表情差分を追加します。

例えば笑顔の差分を追加するなどしましょう。（私のアバターは表情差分ないので単純に目を閉じてる差分を追加）

そして、この表情差分セットのstate shortcutsでショートカットを追加します。（今回はAltにしてみました）

これでAltキーが押されたらこの目を閉じてる表情差分に切り替わるというわけですね。

ちなみにキー発火の設定もできます。

・activetion mode
→on press キーを押した瞬間に実行
→on release　キーを離した瞬間に実行
→while pressed　ボタンを押している間に継続的に動作
→press to toggle　ボタンを1回押すことで状態が切り替わり、再度押すことで反転

これで、キーを押したらその表情に切り替わることができるので、AIキャラやAITuberを動かすシステム側で、回答に合わせて指定のキーを押下する処理にすれば感情をもとにAIキャラが表情を変えてくれるというわけです。

さいごに

今回はAIキャラクターやAITuberのビジュアル部分で活用できそうなveadotube miniについて解説しました。

用意するのは画像差分だけなので、3DモデルやLive2Dに比べて手軽にキャラクターを動かす出来るのは嬉しいですね。

是非、こちら活用してオリジナルのAIキャラクターを動かしたり、AITuber配信に挑戦してみてくださいね👍

最後にちょっと宣伝。
主に配信者向けですが、AIキャラクターと簡単に会話をしたりコメント読み上げしてくれる「配信パートナーAIシステム」を開発・提供しています。

今回ご紹介したveadotube miniでビジュアル部分も動かせるのでもし興味ある方はチェックしてみてくださいね！
(もちろん3DモデルやLive2D、表情変化もカバーしています)