バーチャル美少女セルフ受肉しながら、ゲームその他の配信をしたいわけなんです。
前々から、オリジナルキャラクターで配信がやりたいと言っているのですが、そのための方法をいろいろ調べながら、アバターを作っているわけです。その中で、ゲーム配信する方法や、バ美肉する方法を考えていたわけです。*1
今回はこのような構成となります。
長くなりますが、どうぞよろしくお願いいたします。
美少女になりたいぞ
チヤホヤされたいとかいろんな動機があるのですが、ぼくの場合は、「かわいいものになりたい」というのが動機なんですよ。あとリアルの顔を晒さずに人の真似をして配信するにはどうするか、ということなんですよ。
そんなわけで、アバターとして選ぶのが美少女オリジナルキャラクターになるわけです。
考えられる実装は
そこで考えられる実装なのですが、私の場合は3つ想定されます。
この3つを念頭に置いて、様々な方法を検討していきます。
想定する環境
- ゲーム配信
このことから、入力がゲーム側PCに集中するとなると、配信用PCでバ美肉すると何もないところを叩き続ける奇妙な構図となります。
この場合、ゲームPC側でバ美肉を作動させる方が（なんとなく）良さそうですが、家庭用ゲーム機で同じことをするときに困りますし、若干ながらマシンパワーを食われるのが欠点となります。 - 作業配信
- Macで作業しながら配信も行う
これはどう考えてもMacで全部やってしまうほかありません。マシンパワーの不安がありますが、幸いにしてぼくの音楽編集スキルはMacBook（Late2008）でも出来る程度のことしか身についてないので………
今ある美少女になる手段
ぼくが半年以内に用意出来る（と考えられる）ハードウェアは、
- iPhone 11 （持ってる）
- Webカメラ （持ってるし追加準備あり）
- Leap Motion （資金繰り中）
となりますので、そのあたりを前提にしていきたいと思います。
調べてきたの
既存ソフトウェアをできる限り調べましたが、諸事情あってUnityで組み立てを必要とするものやその断片情報も集めております。
Luppet
[https://luppet.appspot.com/:embed:cite]
- 特徴
- 手元が動かせる（Leap Motionの機能）
- 顔の動きは角度と瞬き（iFacialMocapでさらなる高精度表情トラッキング可）
- リップシンクはカメラベースと音声ベースの2つ
- 縦向きカメラが使える（公式プラグイン）
- 動作環境
- Windows 10
- NVIDIA GeForce GTX 970 の同等品以上
- Intel Core i5-4460 の同等品以上
- 8GB RAM以上
- 動作例 www.sharpnel.com
Windows専用ではありますが、手の動きが良い感じにトラッキングしてくるようで、人気があるようです。精度がかなり高いと言われる上、表情トラッキングも外部ツールを用いてかなりのレベルに出来ると言われます。Leap Motionは首元に掛けることを推奨するようです。
3tene
- 特徴
- 動作環境
こちらはアイトラッキングやVR機器への対応に強いソフトとなります。上半身の動きに限ると、Luppetに一歩譲るようですが、こちらはオブジェクト追加の自由さや、動きの割り当てがMIDIでできる長所があります。とくにオブジェクト周りは、背景のものやキャラクターの飾りと言ったキャラクターを賑わせるものが多くあります。
VSeeFace
- 特徴
- 様々なソフト・ツールと連携可能
- 完全無償
- wineを使うことで、Linux系OSでも動作する
- 動作環境
- 公式に記載がないので、基本的に上二つと同様に考えましょう
日本語での概要説明
このソフトを強く推しているブログがありますので、是非ご参照ください
何が出来るかというと、Leap Motionでのてのトラッキングはもちろん、VRでの全身トラッキング、画像認識リップシンク、iPhoneなどを用いた高精度表情トラッキングといった様々なことが出来、何を強調すればいいかよくわかりません。 その分、設定が細かく、そして英語なのでとっつきにくいところはあるかも知れません。
補助ツール
単体で配信できるわけではないですが、顔や表情を認識するのに補助となるツールです。
Waidayo
VMC Protocol 対応のソフトを使うことで、連携できます。iPhone XS以降のiPhoneが必要となりますが、結構表情動きます（iPhone11なら横向きが使いやすい気がします）。
iFacialMocap
こちらも表情トラッキングに優れたツールです。 www.ifacialmocap.com
こちらはUnityやBlender・MayaといったCGを使った制作環境との連携に優れているのが特徴です。Unity系ツールと相性が良いかも知れません。こちらはiPhone側が有料です。
見つけてきたツールから、自分が出来ることは何かを考える
基本的に、手を動かして身振り手振りをするツールはWindowsで動作するものが多く、Macでは動かなかったり、機能が限定されていたりするものが多いようです。
最初に言及した、ゲーム用PCでバ美肉を走らせる一択となりそうです。Windowsで使えるツールをフル活用していろいろやりたいと思います。
問題はMacで作業配信する方法です。wineでVSeeFaceを走らせて動いてくれれば良いのですが、安定して動作するかは未知数ですし、割とwine使っているときって妙な挙動が多かったような…（mikuinstaller時代の記憶
Macに関しては、いろいろと調査や場合によってはUnityでのツール組み立てになりそうです………。
*1:正直考えてる時間より調べてる時間の方が長い気がするのは気のせいだと信じたい
