バーチャルプロダクション体験ブース｜機材と擬似 VP システム

Look Back - VIRTUAL PRODUCTION EXPERIENCE（UNLEASHED EPISODE4）

イベント UNLEASHED EPISODE4 に出たバーチャルプロダクションの体験ブース。LED パネルを貸し出して設営し、スマートフォンをカメラのトラッカーにした擬似的な VP システムを組んだ。

Overview

本格的なトラッキング機材がなくても、カメラの動きに合わせて背景が動く体験ができるよう、スマートフォンをトラッカーとして使う擬似的なバーチャルプロダクションのシステムを構築しました。LED パネルは手持ちのものを貸し出し、設営も担当しています。

トラッカーには、自作のアプリ VP-Mobile を使いました。iPhone や Android を 6 自由度のカメラトラッカーにして、Unreal Engine 5 のカメラを動かします。

01
スマホの位置と向きを UE へ
AR Foundation（ARKit / ARCore）で取ったスマートフォンの位置と向きを、OSC で毎秒 60 回 PC に送ります。画角・ピント・F 値・露出の情報も送り、UE 側のシネカメラに反映します。
02
手ぶれと遅れの両立
動きの大きさに合わせてなめらかさを自動で変え、小さな手ぶれは抑えつつ、大きく振ったときは遅れずについてくるようにしました。画面をタップすると、その距離に UE のピントを合わせられます。
03
誰でも組める準備
スマホ側はメニュー一つでシーンを組み立て、UE 側はインストーラーでプラグインの導入とファイアウォールの設定、PC の IP の表示まで済むようにしています。

VP-Mobile（自作） · Unity（AR Foundation） · Unreal Engine 5