近年、メタバースが流行ってますよね！
日本が生き残るためには、メタバース関連に力を投資しろ！なんて言われていますが
確かに、日本のコンテンツ力は強いですよね。
そんなコンテンツ力を後押しするためにも、我々エンジニアは技術で裏ささえしなくては
いけないわけです！
ということで、ダンスのモーションを作成したい！！
メタバース上で動かしまくりたい！！
VRでフルトラッキングすればいいわけですが、手は綺麗にトラッキングできますが
足となると、VRゴーグルとトラッカーではなかなか対処できないのが現状かと思います。
商用のまともなフルトラッキング機材は100万円以上はするようですし、、、
でも、でも、
チキチキバンバンみたいな、モーションデータ作りたい！！
オリジナルなやつがね！！
画像認識という選択肢
そこで、登場するのが動画からモーションデータを作るという選択肢です。
オープンソースの技術としては、Googleなんかが力を入れていて
- OpenPoze
- BlazePose
などなどオープンソースで利用できるライブラリなどがあったりします。
こんな感じで、動画中から人を思われる映像を推定し、そこに骨と思われるものを入れて姿勢推定を行います。
かなり研究が進んでいて、Webカメラで撮影した動画をリアルタイムで分析し
推定可能なレベルまで来ているそうです。
ただ、ほとんどの場合、Python言語でAIプログラミングしないといけないなど
ちょっとハードル高めです。デモのモデルががそのまま使える場合もありますが
超簡単に使えるKinetixというWebサービスを紹介
Kinetixとは話題の3Dモーション作成サービスで。
なんと、動画をアップロードするだけで、この姿勢推定からのモーション作成までやってくれる画期的なサービスです。
来たるメタバース時代に向けて心強い味方となってくれそうな予感がありますね。
サイトトップにはMetaverseと文字があります
早速やってみましょう
プロジェクトの作成
ダッシュボードにログインするとこのような画面になっています。
サンプルの動画もいくつかあるようですが、ここでは真ん中の「create animation」から新しくアニメーションの作っていきます。
ここで目的のダンス動画をアップロードします。
ビデオのURLからも行けるようなので、Youtubeの動画のURLを貼り付けるなどする方法でもいいのかもしれません
アップロード中
結構時間がかかります。ちなみにアップロードしたのは３分(40MB)ほどの動画です。
アップが完了するとトリム(必要な箇所だけ切り取る)作業に移ります。
全編行きたいところですが、、１分以内にしなさいとのエラーメッセージが出ました。１分以内に切り取ります。
OKならばNEXT STEPで進みます
名前をつけます
アニメーションの名前をつけたらConfirmで進みます
モーション完成！！
ついにモーションが出来ました！
ムキムキのおじさんが踊ってくれます。
どうやら精度はあまり高くなく、ところどころ動作がワープしたりして違和感がありますが、なかなかスムーズに動いてくれる！！
スゲー！！！！
こんな簡単にモーションが作れるなんて！！
キャラや背景を変えてみる
上のメニューのCharactorというところからキャラを変更できます
最初から入っている、女性のキャラや着ぐるみ
おじさんなど様々なキャラに変更可能です
メリット
- ものすごく簡単！動画をアップロードするだけ
- 動くキャラクターを変えられる、追加できる
- 無料！！こんなに凄いのに無料
- それなりに忠実にモーションを作れる
こんなに簡単にできるとは思っていませんでした。
動画さえあれば、誰でもモーションが作れるのは凄いことです！
しかも、それが無料というのは素晴らしいです。
デメリット
- 編集画面がちょっと重い
- 分析に15分ほどかかる(大量の動画を一気にはやりにくい)
- 1 分以内の動画しか使えない
- モーションの重心が高い
- モーションのジャンプ表現が苦手
- なめらかさは、フルトラッキングにかなり劣る
- 作ったモーションの活用が難しい
Webサービスゆえに、多くのCPU時間を割けないためか大量の動画を変換したいなどの
要望があったり、１分以上のモーションを作りたい場合には
BlazePoseなどを活用して、プログラムを自作した方が良さそうです。
また、やはりモーションの精度にちょっと不満があります。
現行の画像処理での姿勢推定の限界なのか、屈む処理がちょいと苦手であること
ジャンプ表現が不自然、手足の滑らかさは、実写のダンスと比べると
全然追いついてないなという感じがします。
こちらの動画のような、モーション表現に憧れてしまいますよね。。。
こちらの機材は、全身に３２個のジャイロセンサーを搭載して、それを120fpsとかで記録できるものです。
東洋風の重心の低い動き、素早い手足の動きもなめらかに検出できていますよね。
ただ、機材のお値段は100万円ほどのようです。
動画像からこのレベルまでモーションを作るには、まだまだ技術的に遠そうな感じがしています。
もっと凄い姿勢推定方式のモーションキャプチャー
あと蛇足ですが、ウマ娘で有名なCygamesなんかは
１台100万円以上するようなモーションキャプチャー用のカメラを大量に設置して
体に、追跡用マーカーがついた特製のスーツを着用して、精細なモーションを作り出したりしているようです。
画像認識も機材を特化させると、動画像からの姿勢推定でもかなり精度が出るようですね
いいなぁ