AI + 3D: 디지털 문화유산 복원

핵심 요점

3D에 앞서 비율부터 확정Banana AI로 시드 이미지 3–6장에서 서로 정렬된 삼면도를 도출하고, Matcap 회색 셰이딩으로 색을 걷어 내 형태만 보고 판단합니다. 2D 단계에서 비율을 확정해 두면 3D 생성이 엇나가지 않습니다.
메시는 Tripo로, 디테일은 ZBrush로Tripo H3.1이 멀티뷰 입력을 읽어 약 1분 만에 200만 페이스 베이스 메시를 만들고, 이미지에 보이지 않는 부분까지 채워 넣습니다. 부러진 손가락, 틀어 올린 머리, 영락 장식 같은 고주파 디테일은 ZBrush로 넘겨 손으로 스컬핑합니다.
폴리곤 감축·텍스처·베이크를 거쳐 UE5로먼저 Tripo 리토폴로지로 메시를 15만 페이스까지 줄인 다음, 삼면도를 레퍼런스로 4K 텍스처를 생성합니다. Substance Painter에서 하이폴리 디테일을 로우폴리에 베이크해 맵 다섯 종을 모두 갖추고, UE5의 Lumen과 Nanite로 눈 덮인 사찰 씬에 배치합니다.
2D 문양을 3D로: 디지털 비석Tripo가 글자 없는 비석 이미지로 비석 모델을 만들고, ZBrush Spotlight로 검은 배경의 비문 이미지를 그 위에 투영해 부조로 새긴 뒤, Substance Painter에서 노멀을 베이크하고 돌 질감과 눈을 입힙니다. 갑옷 문양, 꽃살창, 자수에도 같은 방법을 그대로 쓸 수 있습니다.

01 / 개요

개요

요·금 시대 수월관음상은 윤왕좌로 편안히 앉은 천 년 된 목조 조각으로, 현재 미국 넬슨-앳킨스 미술관에 소장되어 있습니다. 세월에 풍화되고 고국을 멀리 떠나 있는 이 상을 다시 모셔 올 가장 좋은 길은 디지털 복원입니다.

이 가이드는 수월관음상 복원 프로젝트를 실전에서 검증된 8단계 워크플로로 정리합니다. 레퍼런스 이미지와 삼면도에서 시작해 Tripo 지오메트리 생성과 ZBrush 보수를 거쳐 텍스처링, 베이크, UE5 씬 구성까지 이어지며, 단계마다 무엇을 하고 어떤 도구를 쓰며 무엇이 가장 중요한지를 짚습니다. 마지막 두 섹션에서는 이 프로젝트에서 탄생한 「디지털 비석」 기법과 최종 서사 씬 「눈 갠 선림」을 소개합니다.

프로젝트 구성:

레퍼런스와 삼면도: 고해상도 레퍼런스 이미지와 Banana AI
3D 생성: Tripo H3.1(멀티뷰 입력, 최대 200만 페이스), 그리고 Tripo 리토폴로지와 텍스처 생성
스컬핑과 보수: ZBrush
베이크와 머티리얼: Substance Painter
씬과 렌더링: Unreal Engine 5(Lumen, Nanite)

02 / 개요

문화유산 디지털화를 가로막는 두 개의 벽

문화유산 디지털화는 사진 한 장 찍고 모델 하나 만드는 것으로 끝나지 않습니다. 산업 규모의 제작에서는 두 가지 장벽이 실제로 발목을 잡습니다.

에셋 부족과 효율의 벽

보살상, 조정(藻井) 천장, 공포(栱包), 자수처럼 복잡한 문화유산 모델은 아티스트 한 명이 손으로 만들면 몇 주씩 걸리기 일쑤입니다. 1년에 IP 10개를 만드는 일은 기존 외주 방식으로는 사실상 불가능합니다.

리토폴로지 지옥

고정밀 스캔 데이터는 한 점에 5–20 GB에 이를 만큼 방대해서 UE5의 Nanite / Lumen 실시간 파이프라인에 바로 넣을 수 없습니다. 수작업 리토폴로지는 한 사람이 1–2주를 들여야 하고, 에셋 수가 늘어나는 순간 파이프라인이 무너집니다.

AI + 3D: 몇 주를 몇 분으로

AI + 3D가 주는 가장 큰 이점은 결과물이 더 예뻐지는 데 있지 않습니다. 디자이너를 수작업 장인에서 서사를 이끄는 연출가로 바꿔 놓는다는 데 있습니다. 수월관음 프로젝트에서 단계별로 달라진 점은 다음과 같습니다:

단계	기존 방식	AI + 3D
베이스 메시	약 1주	약 1분
텍스처	약 1주	약 2분
리토폴로지	약 1주	자동
아티스트가 집중하는 일	선 하나하나 그리기	이야기의 프레임 하나하나 연출하기

03 / 개요

왜 수월관음상인가

이 작품을 대표 사례로 고른 이유는 세 가지입니다:

형태: 윤왕좌 자세는 해부학적 구조가 극도로 복잡해, AI의 지오메트리 이해력을 가늠하는 최고 난도의 시험대입니다.
디테일: 가슴의 영락 장식, 유려하게 흐르는 법의, 풍화된 목재는 AI가 정밀하게 재구성해야 하는 고주파 표면 디테일입니다.
문화적 가치: Tripo를 통해 해외로 흩어졌거나 깊이 감춰진 보물이 디지털 공간에서 고향으로 돌아올 수 있습니다.

그래서 핵심 목표는 디지털 조각을 그대로 복제하는 것이 아니라, 다음 세 가지였습니다:

비대칭 해부 구조를 충실히 재현하기: 좌우 대칭으로 앉은 자세가 아닙니다
고주파 표면 디테일을 자동으로 생성하기: 영락 장식, 옷주름, 풍화된 나뭇결
시간을 넘나드는 서사 공간 만들기: 고립된 모델이 아니라 이야기가 있는 씬

우리가 되살리려 한 것은 한 점의 목조각이 아니라 그 신운(神韻)입니다.

04 / 개요

데이터 수집과 시맨틱 분해

목표: 쓸 만한 시맨틱 시드, 즉 선명하고 출처가 적법하며 문화적 대표성을 갖춘 원본 소재를 확보합니다.

입력 / 출력: 고해상도 레퍼런스 이미지를 넣으면 시맨틱 계층별로 라벨링한 소재 팩이 나옵니다.

위의 두 사진처럼 전체 모습과 클로즈업을 모두 모은 뒤, 자세, 얼굴과 틀어 올린 머리, 영락 장식, 옷주름, 나뭇결 등 계층별로 분류해 둡니다. 다음 단계에서는 이 팩에서 바로 시드 이미지를 고릅니다.

05 / 개요

AI로 삼면도 도출

목표: 한 장 또는 몇 장의 이미지에서 삼면도를 도출해, AI가 3D 생성 단계에서 비율을 정확하게 잡도록 합니다.

도구: Banana AI.

핵심 포인트: 이 단계가 이후 생성되는 모든 결과물의 비율 정확도를 좌우합니다.

시드 준비: 가장 선명한 이미지 한 장을 메인 레퍼런스로 고르고, 대표성이 가장 높고 가려진 부분이 가장 적은 이미지 3–6장을 더합니다.
Banana AI로 삼면도 도출: 모든 뷰가 육안으로 봐도 정확히 맞아떨어져야 합니다.

06 / 개요

Matcap으로 형태 검수

목표: 2D 단계에서 골격 구조를 확정해 3D 생성이 엇나가지 않게 합니다.

도구: Matcap 머티리얼(단일 광원 피드백)과 ZBrush 또는 Blender의 회색 모델 프리뷰.

핵심 포인트: Matcap으로 색을 배제하면 눈은 형태가 맞는지만 판단하게 됩니다.

07 / 개요

Tripo로 지오메트리 생성

목표: AI로 베이스 메시 지오메트리를 빠르게 구축합니다.

도구: 멀티뷰를 비롯한 멀티모달 입력을 지원하고, 최대 200만 페이스까지 생성하며, 볼륨 구조를 이해하는 Tripo H3.1.

강점: 최대 200만 페이스의 고정밀 디테일, 다각도 입력, 이미지에 보이지 않는 영역의 자동 보완.

“수월관음, 윤왕좌 자세, 풍화된 목조각, 요·금 양식”처럼 참고용 프롬프트나 키워드를 여러 세트 준비해 생성의 시맨틱 가이드로 삼습니다.
서로 다른 프롬프트 3개의 생성 결과를 비교해 문화적 기품에 가장 가까운 버전을 남기고, 이후 튜닝을 위해 보관해 둡니다.
부위별 분할: 정밀도가 부족하면 이미지를 부위별로 나눠 각각 생성합니다. 잘게 나눌수록 디테일이 풍부해집니다.

멀티뷰에서 3D 모델로(H 시리즈) API 문서

08 / 개요

ZBrush로 보수

목표: AI의 속도에 수작업 마무리를 더해 손가락, 틀어 올린 머리, 영락 장식 같은 고정밀 디테일을 완성합니다.

도구: Tripo로 베이스 메시를 만든 뒤 ZBrush에서 손으로 보수합니다.

역할 분담: Tripo가 약 1분 만에 200만 페이스 베이스 메시를 만들고, ZBrush는 부러진 손가락, 틀어 올린 머리, 영락 장식 같은 디테일의 수작업 스컬핑을 맡습니다.

보수할 때 사용한 주요 설정:

패널	설정
DynaMesh	Resolution 4096 · Blur 2 · Project 켬 · SubProjection 0.6
Project	Dist 0.02 · Mean 25 · Geometry 켬 · Color 켬 · PA Blur 10 · Farthest 끔 · ProjectionShell 0
Geometry	SDiv 3 · Lower Res · Del Lower
Weld	Weld Points · WeldDist 1

주로 쓴 브러시: Smooth, Standard, Move, Move Topological, Clay, ClayBuildup, KnifeLasso, MaskPen, Polish.

09 / 개요

2차 텍스처링

목표: 하이폴리 모델에서 고정밀 4K 텍스처를 생성해, 오래된 목조각의 채색이 벗겨져 나간 세월의 흔적을 되살립니다.

도구: Tripo 리토폴로지와 텍스처 생성. 200만 페이스 모델은 먼저 폴리곤 수를 줄여야 합니다. 삼각형으로 리토폴로지하고 페이스 수를 150,000으로 설정한 뒤 텍스처를 생성합니다.

핵심 포인트: AI가 삼면도를 레퍼런스로 삼아 텍스처를 생성하므로 역사의 깊이와 문화의 흔적이 그대로 살아납니다.

리토폴로지 API 문서 텍스처 API 문서

10 / 개요

베이크와 머티리얼 다듬기

목표: 하이폴리의 디테일을 로우폴리 모델에 베이크해 UE5 실시간 파이프라인에 올립니다.

도구: Substance Painter(SP)와 하이/로우폴리 매칭.

핵심 포인트: 이 단계에서 에셋이 UE5의 변화하는 조명을 견뎌 낼 수 있을지가 결정됩니다.

SP 작업 시간 확보: 전체 작업 시간의 15–20%를 배정해, UE5에 넘어간 뒤에야 텍스처 디테일이 깨진 것을 발견하는 일이 없도록 합니다.
텍스처 네이밍 규칙 수립: _BaseColor / _Normal / _Roughness / _Metallic / _AO 다섯 종을 빠짐없이 갖추는 것이 필수입니다.
UE5 극한 조명 테스트: 강한 빛, 그림자, 움직이는 광점 아래에서도 에셋이 안정적인가요?

SP 안에서 바로 AI로 텍스처를 칠하고 싶다면 bilibili 크리에이터 Tianyu Xingfan의 플러그인 튜토리얼(중국어)을 참고하세요:

Substance 3D Painter에서 NanoBanana로 텍스처 페인팅하기(bilibili)

11 / 개요

UE5 씬 통합

목표: 디지털 에셋을 서사가 있는 씬에 배치해, 관객이 이것을 렌더링 이미지가 아니라 이야기가 깃든 시간의 한 장면으로 믿게 만듭니다.

도구: UE5 Lumen 실시간 라이팅과 Nanite 마이크로폴리곤 지오메트리.

핵심 포인트: 빛으로 풀어내는 스토리텔링과 씬 디자인이 모델을 하나의 작품으로 완성합니다.

12 / 개요

재사용 가능한 에셋: 디지털 비석

디지털 비석은 이 프로젝트에서 가장 독창적인 파생 에셋입니다. AI로 전통 비문을 스컬핑할 수 있는 3D 오브젝트로 바꿉니다. 같은 방법은 갑옷 문양, 자수, 꽃살창처럼 2D 문양을 3D 모델로 바꾸는 모든 작업으로 확장할 수 있습니다.

비문 원문

수월관음 디지털 재탄생 비기(碑記)

물에 비친 달로 몸을 나투신 관음대사는 요·금 시대에 처음 조성되었으니, 칼솜씨는 신묘하기 그지없고 자태는 떠가는 구름과 같았다. 그러나 세월이 흐르매 나무와 돌에는 틈이 벌어지고 채색은 벗겨져 떨어졌으며, 멀리 바다 건너로 떠나시니 고국에서는 더 이상 그 참모습을 우러러볼 수 없게 되었다.

이제 지능 연산의 학문이 땅에서 하늘까지 닿았다. 바다 건너 남기신 모습들을 모으고 빛의 가장 미세한 티끌까지 그러모아, 끌 대신 숫자로 형체를 빚고 실재와 가상이 공존하는 자리에 거룩한 존상을 다시 세웠다. 터럭 같은 균열 하나하나가 또렷한 궤적을 따라 모습을 드러내고, 영락과 법의는 빛 아래에서 새것처럼 되살아났다. 이로부터 수미산에서 겨자씨에 이르기까지 만물이 형상을 얻을 수 있으니, 천만의 메시 면이 함께 자비를 쌓아 올리리라.

비록 산과 바다를 사이에 두었으나 그 신운은 중국으로 돌아왔다. 이 재탄생은 모래를 모아 탑을 쌓는 데 그치지 않으니, 실로 장인의 정성과 신묘한 기지가 만나 이룬 일이다. 이에 돌에 새겨 기록하노니, 그 존상이 길이 남아 천 겁을 지나도 스러지지 않고 오는 세대에 영감의 불씨를 지펴 주기를 바라노라.

병오년(2026) 초여름 길일