戻る

AI + 3D:文化遺産のデジタル復元

2026.11.0410 分で読めますワークフロー

01 / 概要

概要

遼・金時代の水月観音は、「遊戯坐(ゆげざ)」と呼ばれるくつろいだ姿勢で坐す、千年の時を経た木彫です。現在は米国のネルソン・アトキンズ美術館に収蔵されています。歳月を経て風化し、故郷から遠く離れたこの像を「里帰り」させるには、デジタル復元が最善の道です。

このガイドでは、水月観音のデジタル復元を、実際のプロジェクトで検証済みの 8 ステップのワークフローに分解して解説します。リファレンス画像と三面図、Tripo によるジオメトリ生成、ZBrush での修復、そしてテクスチャリング、ベイク、UE5 でのシーン構築まで、各ステップで何をするか、どのツールを使うか、何が最も重要かを示します。最後の 2 節では、このプロジェクトから生まれた「デジタル石碑」の手法と、最終的な物語シーン「雪晴れの禅寺」を紹介します。

プロジェクト構成:

  • リファレンスと三面図:高解像度のリファレンス画像と Banana AI
  • 3D 生成:Tripo H3.1(マルチビュー入力、最大 200 万ポリゴン)と、Tripo のリトポロジー・テクスチャ生成
  • スカルプトと修復:ZBrush
  • ベイクとマテリアル:Substance Painter
  • シーンとレンダリング:Unreal Engine 5(Lumen、Nanite)
UE5 でリアルタイムレンダリングした最終シーン「雪晴れの禅寺」。
UE5 でリアルタイムレンダリングした最終シーン「雪晴れの禅寺」。

02 / 概要

文化遺産のデジタル化を阻む 2 つの壁

文化遺産のデジタル化は、「写真を撮って、モデルを作る」だけでは終わりません。量産を前提とした制作の現場では、本当に足かせとなるハードルが 2 つあります。

アセット不足と効率の壁

菩薩像、藻井、斗栱、刺繍のような複雑な文化遺産のモデルは、アーティスト 1 人が手作業で作ると数週間かかることも珍しくありません。年に 10 の IP を手がけるのは、従来の外注頼みではまず不可能です。

リトポロジー地獄

高精度スキャンのデータは 1 点あたり 5–20 GB と巨大で、そのままでは UE5 の Nanite / Lumen によるリアルタイムパイプラインに載せられません。手作業のリトポロジーは 1 人で 1–2 週間かかり、アセット数が増えたとたんにパイプラインは破綻します。

AI + 3D:数週間を数分に

AI + 3D の最大の価値は、見栄えのよい成果物ではありません。デザイナーを手仕事の職人から、物語を演出するディレクターへと変えることにあります。水月観音プロジェクトで各工程がどう変わったかは、次のとおりです:

工程従来の方法AI + 3D
ベースメッシュ約 1 週間約 1 分
テクスチャ約 1 週間約 2 分
リトポロジー約 1 週間自動
アーティストの注力点線を 1 本 1 本描く物語のすべてのフレームを演出する

03 / 概要

なぜ水月観音なのか

この作品をフラッグシップ事例に選んだ理由は 3 つあります:

  • 形態:遊戯坐の姿勢は解剖学的構造がきわめて複雑で、AI のジオメトリ理解力を試す最高レベルのテストになります。
  • ディテール:胸元の瓔珞、流れるような法衣、風化した木肌は、AI が正確に再構築しなければならない高周波の表面ディテールです。
  • 文化的価値:Tripo の力を借りれば、海外に散逸した、あるいは秘蔵されて人目に触れない至宝も、デジタル空間で「里帰り」を果たせます。
実物実物
細部細部
遼・金時代の水月観音(ネルソン・アトキンズ美術館蔵)。

そのため、プロジェクトの核心となる目標は、デジタル彫刻を複製することではなく、次のことでした:

  • 非対称な解剖学的構造を忠実に再現する:これは左右対称の坐像ではない
  • 高周波の表面ディテールを自動生成する:瓔珞、衣のひだ、風化した木目
  • 時空を超える物語の舞台を築く:孤立したモデルではなく、物語を持つシーンとして

私たちが蘇らせようとしたのは、一体の木彫ではなく、その神韻です。

04 / 概要

データ収集とセマンティック分解

目標:使える「セマンティックシード」、つまり鮮明で、出所が正当で、文化的な代表性のある元素材を集める。

入力 / 出力:高解像度のリファレンス画像 → セマンティックレイヤーごとにラベル付けした素材パック。

上の 2 枚の写真のように、全体写真とクローズアップの両方を集め、姿勢、顔と髻(もとどり)、瓔珞、衣のひだ、木目といったレイヤーごとに整理します。次のステップでは、この素材パックからそのままシード画像を選びます。

05 / 概要

AI で三面図を起こす

目標:1 枚または少数の画像から三面図を起こし、3D 生成の際に AI がプロポーションを正しく捉えられるようにする。

使用ツール:Banana AI。

ポイント:このステップで、以降に生成するすべてのもののプロポーション精度が決まる。

  • シード画像を準備する:最も鮮明な 1 枚をメインのリファレンスに選び、代表性が高く隠れた部分の少ない画像を 3〜6 枚加えます。
  • Banana AI で三面図を起こす:各ビューは寸分の狂いもなく揃っていなければならず、肉眼で見てもずれがあってはいけません。
正面正面
斜め前斜め前
側面側面
Banana AI で起こした三面図。

06 / 概要

Matcap で形状をチェックする

目標:2D の段階で骨格の枠組みを固め、3D 生成がぶれないようにする。

使用ツール:Matcap マテリアル(単一光源のフィードバック)と、ZBrush または Blender でのグレーモデルのプレビュー。

ポイント:Matcap で色の要素を取り除けば、目は形が正しいかどうかだけを判断できる。

正面正面
側面側面
Matcap プレビュー:見るのは色ではなく形。

07 / 概要

Tripo でジオメトリを生成する

目標:AI でジオメトリのベースメッシュを素早く構築する。

使用ツール:Tripo H3.1。マルチビューをはじめとするマルチモーダル入力に対応し、最大 200 万ポリゴンを扱え、ボリュームの構成も理解する。

強み:最大 200 万ポリゴンの高精度ディテール、多角度からの入力、画像に写っていない領域の自動補完。

  • 生成時のセマンティックなガイドとして、「水月観音、遊戯坐、風化した木彫、遼金様式」のような参考プロンプトやキーワードを何セットか用意します。
  • 3 種類のプロンプトで生成結果を比べ、文化的な趣に最も近いバージョンを残して、後の調整用にアーカイブします。
  • パーツに分割する:精度が足りない場合は、画像をパーツごとに分けてそれぞれ生成します。細かく分けるほど、ディテールは豊かになります。
ベースメッシュ全体ベースメッシュ全体
頭部のディテール頭部のディテール
Tripo H3.1 で生成したベースメッシュ。
マルチビューから 3D モデルへ(H シリーズ)API ドキュメント

08 / 概要

ZBrush で修復する

目標:AI のスピードと手作業の仕上げを組み合わせ、指、髻、瓔珞といった高精度のディテールを補う。

使用ツール:Tripo のベースメッシュ → ZBrush での手作業による修復。

役割分担:Tripo が約 1 分で 200 万ポリゴンのベースメッシュを構築し、ZBrush が指の欠損、髻、瓔珞などのディテールを手作業でスカルプトする。

ZBrush での修復後のディテール。
ZBrush での修復後のディテール。

修復で使用した主な設定:

パネル設定
DynaMeshResolution 4096 · Blur 2 · Project on · SubProjection 0.6
ProjectDist 0.02 · Mean 25 · Geometry on · Color on · PA Blur 10 · Farthest off · ProjectionShell 0
GeometrySDiv 3 · Lower Res · Del Lower
WeldWeld Points · WeldDist 1

使用ブラシ:Smooth、Standard、Move、Move Topological、Clay、ClayBuildup、KnifeLasso、MaskPen、Polish。

09 / 概要

2 パス目のテクスチャリング

目標:ハイポリモデルから高精度の 4K テクスチャを生成し、古い木彫の彩色が剥がれ落ちた、年月を経た風合いを再現する。

使用ツール:Tripo のリトポロジーとテクスチャ生成。200 万ポリゴンのモデルは先にポリゴンを削減する:三角面でリトポロジーしてポリゴン数を 150,000 にし、そのあとテクスチャを生成する。

ポイント:AI が三面図を参照してテクスチャを生成するため、歴史の重みと文化の痕跡が保たれる。

Tripo でテクスチャを生成したモデル。
Tripo でテクスチャを生成したモデル。
リトポロジー API ドキュメントテクスチャ API ドキュメント

10 / 概要

ベイクとマテリアルの仕上げ

目標:ハイポリのディテールをローポリモデルにベイクし、UE5 のリアルタイムパイプラインに載せる。

使用ツール:Substance Painter(SP)と、ハイポリ / ローポリのマッチング。

ポイント:このステップで、UE5 の光の変化にアセットが耐えられるかどうかが決まる。

Substance Painter 上のマテリアル。
Substance Painter 上のマテリアル。
UE5 のビューポートに表示したアセット。
UE5 のビューポートに表示したアセット。
  • SP の作業時間を確保する:全体の 15–20% を見込んでおけば、UE5 に持ち込んでからテクスチャのディテールの破綻に気づく事態を避けられます。
  • テクスチャの命名規則を決める:_BaseColor / _Normal / _Roughness / _Metallic / _AO の 5 種類はすべて必須です。
  • UE5 の極端なライティングでアセットをテストする:強い光、影、動く光のスポットの下でも安定しているか?

SP の中で直接 AI を使ってテクスチャを描きたい場合は、bilibili のクリエイター天宇星凡(Tianyu Xingfan)によるプラグインのチュートリアル(中国語)を参考にしてください:

Substance 3D Painter と NanoBanana でテクスチャをペイントする(bilibili)

11 / 概要

UE5 のシーンに組み込む

目標:デジタルアセットを物語のあるシーンに置き、観る人に「これはレンダリング画像ではなく、物語を宿したひとときだ」と信じさせる。

使用ツール:UE5 の Lumen によるリアルタイムライティングと、Nanite のマイクロポリゴンジオメトリ。

ポイント:光による物語表現とシーンデザインによって、モデルは「作品」になる。

UE5 で構築した、雪に覆われた禅寺の境内。
UE5 で構築した、雪に覆われた禅寺の境内。

12 / 概要

再利用できるアセット:デジタル石碑

デジタル石碑は、このプロジェクトで最も独創的な派生アセットです。AI を使って、伝統的な碑文をスカルプトできる 3D オブジェクトに変えます。同じ手法は、鎧の文様、刺繍、透かし彫りの格子窓など、2D の文様を 3D モデルにするあらゆる作業に応用できます。

碑文

『水月観音デジタル再生碑記』

観音大士は水月の化身なり。遼・金の世に初めて刻まれ、その刀は神妙を極め、姿はたゆたう雲のごとし。されど歳月は流れ、木石に裂け目を生じ、丹青は剥落し、さらに遠く海を渡りしがゆえに、故国はもはやその真容を仰ぐことかなわず。

今や智算の学は、地より天にまで通ず。海の彼方に遺る面影を集め、光の微塵を聚めて、斧鑿を用いず数をもって形を成し、虚実の共にあるところに尊容を甦らす。毛筋ほどの裂け目も、みな明らかなる軌跡をたどりて現れ、瓔珞も法衣も、光のもとに新たなるがごとし。これより、須弥の山より芥子の一粒に至るまで、万象みな形を得べく、千万の網目は相共に慈悲を築く。

山海を隔つといえども、その神韻は中華に還る。この再生は、ただ沙を聚めて塔と成すのみにあらず、まことに匠の心と神機の交わるところなり。ここに石に刻みて記し、尊像の永く存し、千劫を経ても朽ちず、後の世に霊感の灯をともさんことを願う。

歳次丙午(2026 年)孟夏吉日

雪の禅寺に立つデジタル石碑。
雪の禅寺に立つデジタル石碑。

生成方法

目標:文字のない石碑の画像から 3D モデルを生成し、ZBrush でハイポリモデルに碑文を改めて投影する。

  • 碑文の画像を用意します。背景は必ず完全な黒にします。
  • Tripo で石碑の 3D ベースを生成します。
  • ZBrush で Shift+Z を押して Spotlight を開き、碑文の画像を 3D の表面に投影します。
  • 位置が決まったら Z を押してペイントモードに切り替え、ブラシで文字を描き込みます。
  • ハイポリモデルを書き出し、SP でノーマルマップをベイクします。
黒背景の碑文画像黒背景の碑文画像
Tripo で生成した石碑Tripo で生成した石碑

マテリアルの仕上げ

  • ZBrush で文字を投影したハイポリモデルを SP に読み込みます。
  • ハイポリモデルの文字のディテールを、ローポリのノーマルマップにベイクします。
  • SP でシンプルなマテリアルを再現します:石、苔、雪。
ZBrush でレリーフとして投影した碑文。
ZBrush でレリーフとして投影した碑文。
文字のない石碑文字のない石碑
投影後投影後
SP の石のマテリアルSP の石のマテリアル

応用できる場面:鎧の表面の文様、透かし彫りの格子窓、刺繍、瓦当の文様など、2D の文様を 3D モデルにするあらゆる作業。

13 / 概要

シーンが語る物語:雪晴れの禅寺

最終的に水月観音は単独で展示されるのではなく、「雪晴れの禅寺」という物語のあるシーンに置かれます。これはこのプロジェクトで最も応用の利く部分です。アセットは決してゴールではなく、シーンが語る物語こそが作品の魂です。

シーンデザインの要点

物語の核:雪晴れの夕日が禅寺の斗栱を貫いて差し込む光景をシミュレートし、Lumen の光で AI モデルに従来を超える生命感を与える。

シーンデザインの段階で行う 3 つの具体的なアクション:

  • 200 字の「シーンストーリー」を書く:観る人は第一印象で何を感じ、何を目にするべきか?
  • 核となるショットを 1 つ決める:技術的な作業はすべてこのショットを軸に進めます。
  • サウンドデザインの方向性を 1 つ決める:鐘の音、風の音、読経の声。音は物語の半分を担います。
「雪晴れの禅寺」の全景。
「雪晴れの禅寺」の全景。

シーンへの統合

UE5 で、生成した観音のアセットを雪に覆われた禅寺の境内に配置し、Lumen の光で命を吹き込みます。

「斧鑿を用いず、数をもって形を成す。虚実の共にあるところ、尊容ここに甦る。」これは、チームがデジタル文化遺産に添えた、最も簡潔な脚注です。

究極のディテール:菩薩の神韻

AI が生成した高精度のモデルとテクスチャは、風化した木目と、姿勢が持つ幾何学的な緊張感をとらえています。最終的な検収基準は次のとおりです:

  • 一目見て、実物に似ている:文化的な直感によるチェックに合格する
  • 三度見て、新しさがある:風化や古色など、AI で強化したディテールが見て取れなければならない
  • 十度見ても、揺るがない:どんな光の下でも、どの角度からでも、じっくり眺めるに耐える
禅寺に安置された水月観音。
禅寺に安置された水月観音。

AI は芸術の終着点ではなく、想像力の起爆剤です。文化遺産の復元という長い流れの中で、私たちが復元しているのは、物そのものだけでなく、過去と現在をつなぐ文化的な意味でもあるのです。

「雪晴れの禅寺」:UE5 のリアルタイムレンダリング映像。