VR 向け xR ワークフロー

xR for VR ワークフローを使用すると、標準的な放送用カメラとレンズを使用して、一般的な LED xR 制作ステージから、Spatial Computing デバイスで視聴するための Spatial Video（VR180 または VR360）コンテンツを制作できます。

ステージとプロジェクトが xR 用に正しくセットアップされれば、virtual camera を使用して、わずか数クリックで球面出力を生成できます。

デモビデオ

以下の 2 つのビデオで、xR for VR ワークフローのデモンストレーションをご覧ください。こちら で説明するプロセスに従って、VR 出力と放送出力を同時に記録しました。

VR 出力ビデオ

放送出力ビデオ

ステージのセットアップ

ステージは xR 用に正しくセットアップする必要があります。より詳細な手順については xR stage setup を参照してください。簡単に言えば、手順は以下のとおりです。

1. Disguise ソフトウェアで標準的な xR LED ステージを作成します。ステージに LED ウォールと床を追加します。
2. 放送用カメラを追加します。この例では「d3cam」と呼びます。
3. MR set を作成し、そこにスクリーンとカメラを追加します。
4. レンズ、色、遅延が完全にキャリブレーションされていることを確認しながら、ステージをセットアップしてキャリブレーションします。
5. 放送用カメラを、ステージ上のすべての参加者を頭から足先までカバーするように配置します。これはステージビジュアライザーでプレビューでき、マウスを使ってステージをパン、回転、ズームしてビューに収めることができます。

テストパターンを表示した xR ステージ

仮想カメラの追加と構成

Designer で virtual camera を追加し、以下のように構成します。

1. ステージのカメラ一覧に新しい仮想カメラを追加します。
2. 仮想カメラを MR set のターゲットに設定します。これにより、仮想カメラのプロパティの変更がマッピングされたコンテンツにどう影響するかを確認できます。
3. 仮想カメラの Parent camera を、放送用カメラを表す Camera オブジェクト（この例では d3cam）に設定します。
4. Live action position marker を、ステージ上の実際の人々やプロップの平均位置（例: メインのプレゼンターの位置）に配置されたステージ内のオブジェクトに設定します。これは、仮想カメラが動く際に、人々が仮想シーンに対してスライドするのを避けるために必要です。
5. Coordinate system を Global に設定し、pitch (X) と roll (Z) の回転をゼロにします。仮想カメラの pitch と roll の回転が global 空間でゼロであることが重要です。そうでないと、カメラの水平線が出力の中心と揃わず、VR デバイスで視聴したときにシーンがずれて見える可能性があります。
6. 仮想カメラの Offset と yaw (Y) Rotation を希望する位置に調整します。これはどこでも構いませんが、親カメラに対して大きすぎる角度に配置すると、ステージ上でキャプチャされた人々が平面的に見えることがあります。
7. Output セパレーターを展開し、Output type を Spherical に変更します。これでカメラは VR360 spatial video フィードを出力します。
8. 必要に応じて、VR180 出力のために Field of view (horizontal) を 180 に設定できます。
9. 仮想カメラの Resolution を、希望するカメラの出力解像度に設定します。

注意

デフォルトでは、MR set は標準的なカメラフィードにより適した解像度になっています。MR set の解像度を仮想カメラの解像度に合わせて設定したい場合が多いでしょう。

仮想カメラのセットアップ例

コンテンツの継ぎ目を避ける

球面コンテンツのレンダリングは、内部的には立方体の 6 面をレンダリングし、それらを組み合わせてワーピングして正しい球面出力にすることで実現されます。仮想シーンのレンダリング時に使用される特定のスクリーンスペースエフェクトは、面の間に目に見える継ぎ目を引き起こすことがあります。Unreal Engine でこれを避ける方法のヒントについては、UE scene optimisation を参照してください。

クリエイティブな理由で一部のスクリーンスペースエフェクトが必要な場合は、仮想カメラで Padding と Overlap を設定することで、その影響を軽減して継ぎ目を避けることが可能です。

• Padding: この値は、各面の外側にレンダリングされ、面を組み合わせる際に切り取られる追加ピクセルの数を設定します。これは、レンダリングされた画像の端でエッジ効果を示すブラーなどの効果を軽減するために使用できます。
• Overlap: この値も各面の外側に追加ピクセルをレンダリングし、各エッジで隣接する面のピクセル間を滑らかにブレンドします。これにより、接合部を滑らかにして面の間の継ぎ目の見え方を軽減するため、はっきりとした線ができなくなります。

注意

padding と overlap はどちらも各面のレンダー解像度を増加させるため、コンテンツのレンダリングに必要な GPU リソースが増加します。目に見える継ぎ目を除去するために必要な最小値に設定することをお勧めします。

VR180 または VR360 コンテンツの追加

RenderStream を使用する

1. トラックに RenderStream Layer を追加します。
2. RenderStream Layer Editor で、Unreal プロジェクトなどの VR180 または VR360 アセットを選択します。
3. レイヤーにレンダーノードの Cluster Pool を追加します。
4. Channel を追加し、マッピングを MR set のバックプレートに設定します。
5. Workload を開始します。

ノート

球面カメラ出力には 6 つの視点のレンダリングが必要です。このワークフローに必要なレンダーノードの数は、マッピングの解像度と仮想シーンの複雑さによって異なります。

他の 3D モジュールを使用する

ローカルでホストされる Notch ブロックや、Stage Render レイヤー、2.5D レイヤーなど、3D コンテンツをレンダリングする他のモジュールも、球面カメラ出力に使用できます。Spherical モードの仮想カメラを MR set のターゲットに設定した状態で、モジュールのマッピングを MR set のバックプレートに設定するだけです。

注意

RenderStream ではなくローカルの 3D モジュールを使用すると、6 つの視点すべてを同じローカルマシンでレンダリングする必要があります。モジュールとマッピングのセットアップによっては、マシンに大きな GPU 負荷がかかることがあります。

Video レイヤーを使用する - 静止カメラ

仮想カメラを動かす予定がない場合は、ビデオコンテンツをカメラにマッピングするのは簡単です。

1. ビデオをプロジェクトフォルダーに追加します。ビデオは正距円筒図法（equirectangular）コンテンツで、意図する球面カメラ出力と同じ方法でフォーマットされている必要があります。
2. Video レイヤーを追加し、メディアを選択します。
3. Video レイヤーのマッピングを MR set のバックプレートに設定します。

Video レイヤーを使用する - 移動カメラ

仮想カメラを動かす柔軟性も持ちながらビデオコンテンツを追加したい場合は、ビデオを球面メッシュにマッピングし、stage render レイヤーを使用してこれを MR set のバックプレートにマッピングする必要があります。

球面メッシュを追加する:

1. Stage エディターで、仮想プロジェクションサーフェスを作成し、「sphere」と名付けて、puffersphere mesh を選択します。
2. 球を大きな値（例: (10, 10, 10)）にスケーリングします。
3. ビデオコンテンツに適切な解像度を設定します。
4. Render レイヤーで仮想プロジェクションサーフェスを Backplate (MR) に設定します。
5. 球の位置を、コンテンツの希望する eye point（カメラの位置からあまり遠くない位置）に設定します。

ビデオを球面メッシュにマッピングする:

1. Video レイヤーを追加し、希望するコンテンツを選択します。
2. 新しい spherical mapping を作成し、これを Video レイヤーのマッピングとして設定します。
3. spherical mapping の解像度をコンテンツに適切に設定します。
4. 球プロジェクションサーフェスを spherical mapping のスクリーン一覧に追加します。
5. プロジェクションサーフェスエディターの Hierarchy で、spherical mapping を球プロジェクションサーフェスの子として設定します。

stage render レイヤーを追加する:

1. タイムラインに StageRender レイヤーを追加します。
2. Render layer を Backplate に設定します。
3. StageRender レイヤーを MR set のバックプレートにマッピングします。

移動カメラ用の球面ビデオコンテンツのセットアップ

ノート

ステージに仮想の球プロジェクションサーフェスを表示したくない場合は、Stage メニューからビジュアライザーカメラエディターを開きます。Stage Render の下のカメラの Render settings のエディターを開きます。次に Virtual object alpha をゼロに設定します。

コンテンツの表示

Designer 内で球面カメラ出力をプレビューするには、カメラウィジェットの「interactive view」を使用できます。仮想カメラの Output type が Spherical に設定されている場合、カメラプレビューの下に Switch To Interactive View を可能にするボタンが表示されます。デフォルトでは、カメラプレビューは正距円筒図法の Lat/Long 出力画像を表示します。interactive view に切り替えると、シーンのインタラクティブな透視ビューが得られ、プレビュー内で左マウスボタンを押しながらマウスを動かすことでナビゲートできます。

Interactive と Lat/Long の球面カメラプレビューモード

球面出力と通常出力の同時出力

VR で視聴するためのフィードと並行して従来の放送フィードを制作するために、球面出力と並行して通常の透視カメラ出力を出力したい場合があります。球面カメラと通常カメラはどちらも同じ eye point からスクリーンに投影するため、単一の放送用カメラから両方のタイプの出力を同時に生成することが可能です。

球面出力と通常出力を同時に出力するには:

1. 上記のとおり、ステージをセットアップし、仮想カメラを Spherical 出力モードで構成します。
2. Regular 出力モードで 2 つ目の仮想カメラを作成します。
3. 2 つ目の仮想カメラの Parent camera と Live action position marker を、1 つ目のものと一致するように設定します。
4. 2 つ目の仮想カメラを 1 つ目の子にして（Hierarchy セパレーターから）、両方のカメラが同じ位置と回転を持つようにします。
5. 2 つ目の仮想カメラのその他のプロパティを希望に応じて設定します。
6. 2 つ目の MR set を作成し、LED スクリーンを追加して、2 つ目の仮想カメラをターゲットに設定します。
7. 両方の MR set のバックプレートに任意のコンテンツをマッピングします。これには、異なる解像度の 2 つのマッピングにコンテンツをマッピングできるようにするため、レイヤーの複製が必要になる場合があります。ただし、RenderStream レイヤーでは、2 つ目のチャンネルを追加することでこれを実現できます。
8. Regular 出力にマッピングされたコンテンツが、Spherical 出力にマッピングされたコンテンツの上にあることを確認します。これは、スクリーンに投影されるコンテンツが、Regular 出力ではより高い解像度で表示される可能性が高いためです。

球面出力と通常出力の同時出力