映画やアニメ、さらにはミュージックビデオなどの現場で、VR技術やゲームエンジンを活用した制作に取り組む事例が増えてきました。クリエイターの想像力を大きく広げる可能性を秘めた、この最先端の映像制作現場で、mocopiが注目されつつあります。
ガールズバンド「花冷え。」のミュージックビデオ制作においてmocopiがどのように活用されたのか、面白法人カヤック事業部長・カヤックアキバスタジオ役員 天野清之様にお話を伺いました。
カヤックアキバスタジオでは、2020年にVRChatを用いたVRライブイベント「ソードアート・オンライン Synthesis - The Period of Alicization Project -」を手掛けた経験から、Unreal Engineなどのゲームエンジンと連携する独自のVRバーチャルカメラシステム「Jeanne d'Arc(ジャンヌ・ダルク)」を開発しました。社内のモーションキャプチャスタジオでキャプチャした演者の動きをリアルタイムでゲームエンジンに転送し、3D CGキャラクター・アバターや背景をその場で調整できます。また監督・カメラマンもVR/XRヘッドセットを被ってVR空間の中に入り、現実の撮影現場と同様に自らがカメラを持って撮影できる仕組みともなっています。
同ミュージックビデオの監督・カメラマンを務めた天野清之様いわく、カメラワークを事前にプログラミングする通常の3D CGアニメと異なり、「VR空間のなかで、現実のようにカメラを人間が操って撮影していくリアルタイム性と、いい意味でのイレギュラーなクリエイティブ性が起きることを意識した」(天野様)そうです。
また「仮バージョンの映像を、演者やCGディレクター、モデラーと一緒に見ながらコミュニケーションできます。すると演者のほうから『もう少し大きく動いたほうがいいですよね』といったアイディアが出てくるし、監督サイドとしても的確に演技の指導ができる」(天野様)と、Jeanne d'Arcのメリットを説明していただきました。
カヤックアキバスタジオは「花冷え。」×「√EDEN」のミュージックビデオ撮影において、mocopiを活用しました。この選択にはどのような理由があったのでしょうか。そこには「演者の都合上、モーションの撮影時間が限られていた」(天野様)という理由がありました。
カヤックアキバスタジオには、1つのモーションキャプチャスタジオが常設されています。しかし、4人の演者のモーションを並行してキャプチャするには、この1つのスタジオだけでは物理的に間に合わない状況に直面しました。
そこで、カヤックアキバスタジオのチームが着目したのがmocopiでした。このモバイルモーションキャプチャデバイスを活用することで、カヤックアキバスタジオ内の限られたスペースを最大限に活用できる可能性が見出されたのです。
以前からmocopiを研究してきたというカヤックアキバスタジオでは、mocopiの持つ以下の特性に着目したそうです。
mocopiは専用のモーションキャプチャスタジオがなくても使用できるデバイスです。屋外であっても演者の動きをスマートフォンで記録できます。別の空きスペースでモーションキャプチャを行う際も、四方八方にカメラセンサーを設置する必要はありません。今回のケースでは、本来は待合スペースとなっている部屋を、即席のキャプチャスタジオとして用意して、各スペースで2人ずつのキャプチャを行いました。
映画撮影などでも使われるモーションキャプチャ機材の場合、演者は全身にマーカーが入ったモーションキャプチャスーツに着替えなくてはなりません。しかしmocopiならば、私服のままでモーションキャプチャが可能です。この着替えの手間を省くだけでも準備時間が大幅に短縮できますし、演者の負担も軽減され、より自然な動きがキャプチャできます。
mocopiは、コインサイズの6点のセンサーを使用して動きを捉えるデバイスであり、軽量で携帯性が高いことが特長です。特に、以下のような場面でその性能が効果的に発揮されました。
mocopiは身体全体の大きな動きや速い動きを捉えるのが得意です。例えば格闘シーンのパンチやアクロバティックな動作、速いダンスステップなどのキャプチャを得意とします。今回の花冷え。のミュージックビデオでも、演者個々の動きをぶれずに捉えることができました。
魔法少女のポーズや象徴的なジェスチャーなど、大きく動いてからポーズを決める(動きを止める)シーンもmocopiの得意とするシーンです。実際に今回のミュージックビデオ制作において、mocopiで高い再現性が得られました。
ただし「mocopiにも限界があります」(天野様)とのこと。センサーがついていない指先など、身体の細部の動きに関しては映画撮影などでも使われる専用の高精度なモーションキャプチャ機材に比べて精度が落ちることがあります。
この点についてはmocopiが得意とする動きと不得意な動きをあらかじめ見極めた上で、楽器演奏など細部の動きが重視されるシーンは元から備わっているモーションキャプチャスタジオで撮影、アクションシーンなどはmocopiを用いた仮設モーションキャプチャスタジオで撮影するといった判断がされました。
mocopiによるモーションキャプチャを行ったシーンは、さらに手打ちによる微調整によって、演者の感情がうかがえる躍動感あふれる動きと、アニメやゲームのように重力を感じさせない動きが両立しました。
その定まったモーションに対して、カメラマンはVR空間の中で、自由な角度から撮影に望めるそうです。またカメラワークのミスや悩みからくる演者のリテイクが不要なため、納得のいくテイクが得られるまで何度でも撮影できるというメリットが生まれます。
VR空間では、演者や撮影機材との干渉を気にする必要がありません。mocopiとVR空間を活用した映像制作は、演者の負担を軽減しつつ、クリエイターにとっても新しい表現に挑めるツールとなります。
mocopiは、これまでのモーションキャプチャ技術の制約を超え、柔軟でクリエイティブな映像制作を可能にするツールとして注目を集めています。カヤックアキバスタジオが今回の花冷え。のミュージックビデオ制作においてmocopiを選んだ理由は、単なる効率性だけではなく、新しいクリエイティブを生み出すための手段としての期待があったからです。
今後、mocopiのようなモバイルモーションキャプチャデバイスがさらに普及すれば、映像制作の現場はより自由で革新的なものになるでしょう。