戻る

現実の街並みから物語の世界へ

2026.08.266 分で読めますOliver Huang

01 / 概要

ひとつのハッカソンシーン、4種類の素材

優れた3Dシーンは、必ずしも1種類のアセットだけで作られるわけではありません。実在の場所から始まることもあれば、想像による拡張が必要になることもあります。そして、キャラクターが空間に入り、見る人に関心を寄せる理由を与えて初めて意味を持つこともあります。(プロジェクトオーナーであるSpatial Dreamer氏に特別な感謝を捧げます。)

このハッカソンプロジェクトが面白いのは、まさにその点です。参加者は、PortalCam、Marble、Tripoを単に制作パイプライン上の別々のツールとして使ったのではありません。彼はそれらを、物語の世界を目の前に立ち上げるための異なる手段として使いました。PortalCamはSanta Barbaraに実在する商業地区の質感と固有性をキャプチャし、MarbleはAI生成のビーチ環境によってそのキャプチャした世界の拡張を助け、Tripoはmeshベースのキャラクターアセットを持ち込みました。シーンの中にカップルを配置することで、環境は空間デモから物語の一場面に近いものへと変わったのです。

参加者はまた、実用的なエンジニアリング上の選択も行いました。空間を3DGSとしてスキャンした後、シーン内に仮想カメラを配置し、その視点から画像をレンダリングし、それらの画像を使って環境のより低ポリゴンなmesh版を再構築したのです。このmesh版のおかげで、プロジェクト全体は低スペックのコンピューターでもより快適に動作し、他のmeshアセットとも統合しやすくなりました。

その成果は、ガウシアンスプラッティング、mesh再構築、AI生成を単に組み合わせただけのものではありません。空間創作がどこへ向かっているのかを示す、小さくとも明確な一例です。すなわち、アセットのフォーマットが物語なのではなく、それらのアセットが可能にするものこそが物語である——そうしたワークフローへと向かっているのです。

02 / 概要

実在の場所から始める

プロジェクトは、PortalCamでSanta Barbaraの商業エリアをスキャンするところから始まります。これが重要なのは、リアリティキャプチャが、ゼロから作り出すのは難しいもの——現実世界の不規則さ——をシーンに与えてくれるからです。店先、通り、看板、スケール、空間的な関係、そして環境の細かなディテールのすべてが、特定の場所ならではの空気感を運んでくれます。

クリエイターにとって、この種の土台は貴重です。シーンに即座に場所の実感を与えてくれます。見る人が目にしているのは、ありふれた街区ではありません。人が暮らし、歩き、物理的にそこに存在していると感じられる空間なのです。

XGRIDSのワークフローでは、PortalCamがキャプチャした空間データを提供し、それを高品質な3Dガウシアンスプラッティングのシーンへと加工できます。これによりクリエイターは、あらゆる面を手作業で作り直すことなく、現実世界の環境をデジタル制作へ素早く持ち込めます。しかし、キャプチャされた場所は、それだけではまだ物語の一部にすぎません。

「このプロジェクトでは、ガウシアンスプラッティングとmesh生成は物語そのものではありませんでした。それらは、物語を信じられるものにするために使われた素材だったのです。」

素材と物語について語るOliver Huang

03 / 概要

生成AIで現実を拡張する

参加者は、スキャンした商業地区だけにとどまりませんでした。Marbleを使ってビーチ環境を生成し、キャプチャしたシーンと組み合わせて、より完全な世界を作り上げたのです。ここが、このプロジェクトが単なるリアリティキャプチャのデモを超えていくところです。

実際のスキャンは真正性をもたらしますが、キャプチャ時に物理的に存在していたものに縛られます。生成AIは、物語には必要なのにカメラには写らなかった世界の部分を埋める手助けをしてくれます。今回の場合、ビーチはSanta Barbaraという舞台の延長となり、シーンに異なる情感と視覚のレイヤーを加えています。

重要なのは、一方が現実で他方が生成物だという点ではありません。それぞれの部分に役割があるという点です。PortalCamのスキャンが世界のアンカーとなり、Marbleが生成したビーチがそれを広げる。両者が合わさることで、どちらか一方のアセットだけでは実現できない、より広い環境が生まれるのです。

異なるアセット、ひとつの物語:キャプチャされた3DGS、AI生成の環境、再構築されたmesh、そしてmeshキャラクターが、ひとつのシーンの中でそれぞれの役割を担っています。
異なるアセット、ひとつの物語:キャプチャされた3DGS、AI生成の環境、再構築されたmesh、そしてmeshキャラクターが、ひとつのシーンの中でそれぞれの役割を担っています。Source: XGRIDS

04 / 概要

キャプチャしたスプラットを軽量なmeshに変える

Santa Barbaraのシーンをキャプチャした後、Spatial Dreamerはもうひとつ重要な技術的判断を下しました。プロジェクト全体でオリジナルの3DGSシーンをそのまま使うのではなく、スプラットシーンの内部に仮想カメラを配置し、その視点から画像をレンダリングしたのです。そして、それらのレンダリング画像を使って、環境のより低ポリゴンなmesh版を再構築しました。

これは、ガウシアンスプラッティングのシーンに価値がなかったからではありません。むしろまったく逆で、スプラットこそが高品質な空間ソースを提供していました。ただ、この特定のハッカソンプロジェクトでは、参加者は最終的なシーンを低スペックのコンピューターでより軽快に動かし、Tripoで生成したカップルキャラクターを含む他のmeshベースのアセットと自然に統合したかったのです。

その意味で、このワークフローは実用的な橋渡しになりました。現実を高忠実度の3DGSシーンとしてキャプチャし、仮想カメラのレンダリングからより軽いmesh表現を導き出し、そのmesh環境を生成したキャラクターや追加のシーン要素と組み合わせる、という流れです。これは、3DGSとmeshがあらゆるワークフローで競合する考え方ではないことを思い出させてくれます。実在の場所をキャプチャして保存するにはスプラットが最適な場合もあれば、特定のランタイム、デバイス、インタラクションモデルに向けて体験をパッケージ化するにはmeshが最適な場合もあるのです。

05 / 概要

Tripoで生成したキャラクターをシーンに取り込む

誰かがそこにいると、場所はより読み取りやすくなります。Tripoを使ってmeshベースのカップルキャラクターを生成することで、参加者はシーンに人の気配を加えました。キャラクターが技術的な主役である必要はありません。その価値は物語性にあります。見る人に焦点を与え、環境の中で何かが起きていることを示唆してくれるのです。

これによって、シーンの受け取られ方が変わります。キャラクターがいなければ、結果は空間のショーケースのように感じられるかもしれません。キャラクターがいれば、同じ環境が物語の舞台のように感じられ始めます。見る人は、散歩、出会い、記憶、あるいはふたりのあいだのひとときを想像できるのです。

これは繊細ですが重要な変化です。テクノロジーは依然として見えていますが、もはや見る人の目に映る唯一のものではないのです。

06 / 概要

スプラットのままにしておくほうが良い場合

ガウシアンスプラッティングのシーンをmeshに変換することが、常に必要なわけではありません。高品質な3DGSシーンの閲覧、探索、公開が目的であれば、チームはシーンをネイティブのスプラット形式のまま保ち、オンライン閲覧にはXGRIDS Web SDKを使えます。Web SDKはLOD制御に対応しており、スマートフォンを含むさまざまなデバイスに合わせて体験を適応させられます。

閲覧中は、ストリーミングLODが、見る人の位置とデバイスの性能に応じて適切な詳細度を段階的に読み込みます。これにより、データセット全体を従来型のmeshプロジェクトのように扱わなくても、数千万規模のガウシアンシーンをスマートフォン上でさえ滑らかに探索できるのです。

つまり、この選択はワークフロー次第だということです。3DGSを直接閲覧するなら、スプラットのまま保つことで視覚的な忠実度を守り、XGRIDSのストリーミングとLODの能力を活かせます。キャプチャした環境をmeshキャラクターや他の生成アセットと組み合わせる必要のある、低スペック向けのインタラクティブなプロジェクトなら、シーンの一部を軽量なmeshに変換することは実際的な制作判断になり得ます。肝心なのは、どちらか一方の表現形式を普遍的に優れたものと見なさないこと。物語、デバイス、体験に最も適した表現形式を選ぶことです。

07 / 概要

物語ではなく、素材:空間創作にとってこれが意味するもの

このプロジェクトは、キャプチャした3DGS、AI生成の環境、再構築したmesh、meshキャラクターという異なる種類のアセットを組み合わせています。技術的な観点では、これらのフォーマットは別物です——レンダリング要件、編集時の挙動、パフォーマンス特性、制作上の制約がそれぞれ異なる場合があります。しかしクリエイティブなワークフローにとって、最も興味深い問いは、必ずしもすべてのアセットが同じ表現形式に由来するかどうかではありません。より良い問いはこうです。これらのアセットは互いに連携して、シーンをより信じられるものに、より表現力豊かなものに、あるいはストーリーテリングにとってより有用なものにできるのか? このハッカソンプロジェクトでは、答えはイエスです。PortalCam、Marble、Tripoはそれぞれ異なるものをもたらしており、最終的なシーンが成立しているのは、それらの貢献が共通の創作目的に奉仕しているからです。

リアリティキャプチャと生成AIは、しばしば別々の方向性として語られます。リアリティキャプチャは、正確さ、再構築、実在の場所の忠実なデジタル化と結び付けられます。生成AIは、スピード、想像力、そしてキャプチャされなかったものを生み出す力と結び付けられます。このプロジェクトは、両者を組み合わせて使うことでより強力になる理由を示しています。リアリティキャプチャはクリエイターに信頼できる土台を与え、生成AIはその土台を広げる余地を与え、キャラクター生成はシーンに人間のレイヤーを与え、mesh再構築は低スペックのデバイスを考慮する必要があるときに、プロジェクトへ実用的なランタイムの道筋を与えるのです。

ワークフローは、現実か生成か、あるいはスプラットかmeshかを選ぶことよりも、それぞれの手法が何を表現するのに最も適しているかを見極めることが中心になっていきます。これはクリエイターにとって特に重要です。クリエイターはアイデアからプロトタイプへ素早く移る必要に迫られることが多く、キャプチャした空間、生成した環境、生成したキャラクター、そしてデバイスを意識した最適化を組み合わせるワークフローは、白紙のキャンバスから始めることなく、物語に使えるシーンを組み上げる助けになります。

08 / 概要

技術的な境界と結びの考察

明確にしておくべき技術的な境界があります。このプロジェクトでは、PortalCamはリアリティキャプチャに使われ、MarbleはAI生成の空間コンテンツで世界を拡張するために使われ、Tripoはmeshベースのキャラクターアセットの作成に使われ、3DGSからmeshへの変換ステップはランタイムを見据えた制作上の選択です。これらは互いを補完し合う手法であって、すべてのアセットが同じデータ構造、忠実度、編集挙動を持つという主張ではありません。Marbleが生成したビーチは、オリジナルのSanta Barbaraスキャンの一部ではなく、AIが作り出した空間コンテンツとして理解されるべきです。Tripoのキャラクターは、スプラットベースのソース環境とは異なり、レンダリング、編集、アニメーション、統合について異なるルールに従う場合があります。そして低ポリゴンのmesh再構築ステップは、この特定のプロジェクトのニーズに応えるものであって、すべての3DGSシーンをmeshに変換する必要があるという意味ではありません。多くの閲覧・公開シナリオでは、XGRIDS Web SDKが、LODとストリーミングのサポートを備えたより直接的な道筋を提供します。

このプロジェクトの最も興味深いところは、3DGS、生成した環境、再構築したmesh、meshキャラクターを使ったこと自体ではありません。それらは素材です。物語は、それらがどのように組み合わされて使われたかから生まれます。実在の街並みがシーンに真正性を与え、生成されたビーチが広がりを与え、ふたりのキャラクターが存在感を与え、軽量なmesh版が、プロジェクトを完全な体験として動かすための実用的な手段を与えているのです。

組み合わせることで、リアリティキャプチャと生成AIは、単なる制作の近道以上のものになります。物語が起こり得る世界を築くための方法になるのです。このプロジェクトでは、ガウシアンスプラッティングとmesh生成は物語そのものではありませんでした。それらは、物語を信じられるものにするために使われた素材だったのです。

出典 / XGRIDS

現実の街並みから物語の世界へ

本記事は、XGRIDSの元記事を編集部が独自に翻案したものです。

XGRIDSで原文を読む ↗ブログに戻る ←

おすすめの記事