「ボリュメトリックキャプチャ技術」を使用したVFXのワークフローについて

こんにちは、映像ディレクター/VFXアーティストの涌井嶺です。

最近、ボリュメトリックキャプチャ（Volumetric Capture）を使用したお仕事をいくつかいただきました。
現在ボリュメトリックキャプチャスタジオが国内にいくつも作られていますが、これらを利用したクリエイター目線でのドキュメントがまだ少なかったので、今回ブログにまとめます。

ボリュメトリックキャプチャとは

ボリュメトリックキャプチャとは、人物や空間を数十台のカメラでほぼ全方位から撮影し、3Dのデジタルデータとしてキャプチャする技術です。これを行うと、動画形式の3Dモデルというべきデータが生成され、撮影後に自由に視点や質感、ライティングなどを変えることができるようになります。
つまり、一度ボリュメトリックキャプチャスタジオで撮影してしまえば、後からそのモデルを3D空間内に配置して、好きなようにバーチャル撮影することができるようになります。

最近僕がご依頼いただいて制作した、中島美嘉さんの「Delusion」のミュージックビデオです。

ディレクターとコンポジットは田所貴司さん、背景3Dモデリングは牛乳瓶さん、カメラワークは金谷健太郎さんが担当し、僕はボルメトリックモデルのBlenderでの取り扱いなどのスーパーバイザー、およびコンポに渡す際のVFXスーパーバイザーとして参加しました。ラストの中島美嘉さんが朽ちていくシーンではGeometry Nodesを用いてエフェクトの制作なども行いました。

こちらはソニーのVolumetric Capture Studio Tokyoで撮影しています。

僕もスタジオにお邪魔したことがあるのですが、無数の高性能カメラとそれらを処理するためのPC、さらにはそのPCの排熱を冷却するための設備と、なかなか普通では考えられない量の設備が整っていました。

ボルメトリックキャプチャの最大のメリットとしてはやはり、カメラの動きを後からほぼ制限なく付けられるということが挙げられますが、撮影時はある意味かなり気楽だというのもメリットかもしれません。ライティングも後付けになりますし、この段階では単純にスタジオの真ん中で演技してもらえばいいからです。視線や画角を気にする必要もありません。

制作ワークフローについて

中島美嘉さんのMVの場合、制作ワークフローは以下のような感じでした。

1. 背景3Dモデル制作
2. Volumetric Capture Studio Tokyoで撮影
3. ソニーのボリュメトリック技術担当の方よりラフモデルをいただき、背景3Dモデルに読み込んでカメラワーク制作
4. 並行して技術担当の方がハイポリモデルの書き出し
5. 完成したカメラワークをもとに技術担当の方が超高精細の人物レンダリングを行う
6. 4でもらったハイポリモデルを3Dシーンでラフモデルと差し替え、レンダリング
7. 5の人物と6の背景をコンポジット

ボリュメトリックキャプチャでは、どうしても精度が足りない部分（複雑な形状をした部分や暗すぎる部分をはじめ、360度撮影しても立体形状が取れない場所。例えばスカートの内側や帽子のつばの下の暗くなっているところ、薄すぎる部分やふわふわな髪の毛など）が出てしまい、完成した3Dモデルはところどころ穴があいていたり、実際とは異なる形状をしていたりする場合があります。ソニーのボリュメトリック技術担当の方が行うレンダリングではそれらの不都合がカメラがモデルに寄ったときにバレないように、ひとつひとつ地道に修正してくださいます。

技術担当の方がレンダリングを行った人物と、CGチームがレンダリングした背景をコンポジットすることで、最終的な絵が出来上がります。
撮影時はかなりフラットなライティングで撮るため、コンポジットでの質感アップは最終的なクオリティを大きく左右します。ここは実写合成と同じで、背景と人物が馴染んでいないと合成っぽさ、安っぽさが出てしまいます。

ボリュメトリックキャプチャのデータはAlembic(.abc)という形式で送られてきます。このデータはBlender上でひとつのオブジェクトとして動作しますので、モディファイアやGeometry Nodesを適用することができます。

今回は中島美嘉さんが朽ちていくように消えていくシーンを、Geometry Nodesを使って作成しました。このようにボリュメトリックの3Dモデルをある程度変形したりアニメーションさせたりできるというのは、3D表現ならではですし、演出の幅が広がりますね。

以下のPerfumeやchelmicoのMVでもボリュメトリックキャプチャのモデルを変形させる表現がみられます。

ボリュメトリックキャプチャの感想

使ってみた感想として強いのは、ボリュメトリックキャプチャ技術は映像の表現を広げ、新しいハイクオリティな映像表現を可能にできるものなのだという驚きでした。
特殊な撮影環境や技術が必要なため、まだ一般的に扱うのは難しい面もありますが、3DCGやコンポジットをはじめとするVFXの枠組みの中で利用することで真価を発揮する、既存の映像の限界を超えた表現が可能な最新技術でした。

現在ボリュメトリックキャプチャを使用した映像制作も承っておりますので、ぜひご相談ください。

読んでいただきありがとうございました！