IA + 3D: restauração digital do patrimônio cultural

01 / VISÃO GERAL

Visão geral

A Guanyin da Lua na Água do período Liao–Jin é uma escultura milenar em madeira, sentada na postura de tranquilidade real, hoje no acervo do Museu de Arte Nelson-Atkins, nos Estados Unidos. Desgastada pelo tempo e longe de casa, ela encontra na restauração digital o melhor caminho de volta.

Este guia decompõe a restauração da Guanyin da Lua na Água em um fluxo de trabalho de oito etapas, validado no próprio projeto: imagens de referência e três vistas, geometria no Tripo, reparo no ZBrush e, depois, texturização, bake e uma cena na UE5. Cada etapa explica o que fazer, quais ferramentas usar e o que mais importa. As duas últimas seções tratam do método da estela digital, que nasceu do projeto, e da cena narrativa final, Templo Zen após a Neve.

Configuração do projeto:

• Referências e vistas: imagens de referência em alta resolução mais o Banana AI
• Geração 3D: Tripo H3.1 (entrada multi-view, até 2 milhões de faces), além da retopologia e da geração de texturas do Tripo
• Escultura e reparo: ZBrush
• Bake e materiais: Substance Painter
• Cena e renderização: Unreal Engine 5 (Lumen, Nanite)

02 / VISÃO GERAL

Os dois muros da digitalização do patrimônio

Digitalizar o patrimônio exige mais do que uma foto e um modelo. Na produção em escala industrial, dois obstáculos realmente travam o processo.

Escassez de assets e o muro da eficiência

Modelos complexos de patrimônio, como bodhisattvas, tetos em caixotão, consolos dougong e bordados, costumam consumir semanas de modelagem manual de um único artista. Fazer dez IPs por ano é praticamente impossível com a terceirização tradicional.

O inferno da retopologia

Escaneamentos de alta precisão são enormes, 5–20 GB por peça, e não entram diretamente no pipeline de tempo real Nanite / Lumen da UE5. A retopologia manual consome 1–2 semanas de trabalho de uma pessoa, e o pipeline desmorona assim que o número de assets cresce.

IA + 3D: de semanas para minutos

O maior ganho da combinação IA + 3D não está em resultados mais bonitos: ela transforma o designer de artesão manual em diretor narrativo. Veja como cada etapa mudou no projeto da Guanyin da Lua na Água:

03 / VISÃO GERAL

Por que a Guanyin da Lua na Água

Três motivos fizeram dela o caso carro-chefe:

• Forma: a postura de tranquilidade real tem uma anatomia extremamente complexa, um teste de altíssimo nível da compreensão geométrica da IA.
• Detalhe: os colares sobre o peito, as vestes esvoaçantes e a madeira desgastada são detalhes de superfície de alta frequência que a IA precisa reconstruir com precisão.
• Valor cultural: com o Tripo, tesouros espalhados pelo exterior ou guardados longe do público podem voltar para casa no espaço digital.

O original

Detalhe

Por isso, o objetivo central não era copiar uma escultura digital, mas:

• Reproduzir fielmente a anatomia assimétrica: esta não é uma postura sentada simétrica
• Gerar automaticamente os detalhes de superfície de alta frequência: colares, dobras do panejamento e veios desgastados
• Construir um cenário narrativo que atravesse o tempo: não um modelo isolado, mas uma cena com uma história

O que nos propusemos a reviver não é uma escultura em madeira, mas o seu espírito.

04 / VISÃO GERAL

Coleta de dados e decomposição semântica

Objetivo: reunir sementes semânticas utilizáveis, ou seja, material de origem nítido, de procedência legítima e culturalmente representativo.

Entrada / saída: entram imagens de referência em alta resolução, sai um pacote de material rotulado por camada semântica.

Reúna tanto vistas gerais quanto close-ups, como as duas fotos acima, e arquive tudo por camada: postura, rosto e coque, colares, panejamento e veios da madeira. A próxima etapa tira as imagens-semente diretamente deste pacote.

05 / VISÃO GERAL

Infira as três vistas com IA

Objetivo: inferir as três vistas a partir de uma ou poucas imagens, para que a IA acerte as proporções na geração 3D.

Ferramentas: Banana AI.

Ponto-chave: esta etapa define a precisão das proporções de tudo o que for gerado depois.

• Prepare as sementes: escolha a imagem mais nítida como referência principal e acrescente de três a seis das imagens mais representativas e com menos oclusões.
• Infira as vistas no Banana AI: cada vista precisa se alinhar com exatidão, até a olho nu.

Frontal

Três quartos

Lateral

06 / VISÃO GERAL

Verifique a forma com Matcap

Objetivo: travar a estrutura esquelética ainda no 2D, para que a geração 3D não se desvie.

Ferramentas: um material Matcap (resposta a uma única fonte de luz) com pré-visualização do modelo em cinza no ZBrush ou no Blender.

Ponto-chave: o Matcap tira a cor da equação, para que seu olho julgue apenas se a forma está certa.

Frontal

Lateral

07 / VISÃO GERAL

Gere a geometria com o Tripo

Objetivo: construir rapidamente com IA a malha base geométrica.

Ferramentas: Tripo H3.1, que aceita entrada multi-view e outras entradas multimodais, chega a 2 milhões de faces e entende volumes.

Pontos fortes: até 2 milhões de faces de detalhe em alta precisão, entrada de múltiplos ângulos e preenchimento automático das áreas que as imagens não mostram.

• Prepare vários conjuntos de prompts ou palavras-chave de referência, por exemplo “Guanyin da Lua na Água, postura de tranquilidade real, escultura em madeira desgastada pelo tempo, estilo Liao–Jin”, para orientar semanticamente a geração.
• Compare os resultados de três prompts diferentes, fique com a versão mais próxima do caráter cultural e arquive-a para ajustes posteriores.
• Separe em componentes: quando faltar precisão, divida a imagem em partes e gere cada uma separadamente. Quanto mais fina a divisão, mais rico o detalhe.

Malha base completa

Detalhe da cabeça

08 / VISÃO GERAL

Reparo no ZBrush

Objetivo: combinar a velocidade da IA com o acabamento manual nos detalhes de alta precisão, como os dedos, o coque e os colares.

Ferramentas: malha base do Tripo e, em seguida, reparo manual no ZBrush.

Divisão de tarefas: o Tripo constrói a malha base de 2 milhões de faces em cerca de um minuto; o ZBrush fica com a escultura manual dos dedos quebrados, do coque, dos colares e de detalhes semelhantes.

Principais configurações usadas no reparo:

Pincéis: Smooth, Standard, Move, Move Topological, Clay, ClayBuildup, KnifeLasso, MaskPen, Polish.

09 / VISÃO GERAL

Texturização em segunda passada

Objetivo: gerar, a partir do modelo high-poly, texturas 4K de alta precisão que recuperem o aspecto envelhecido da pintura descascada sobre a madeira antiga.

Ferramentas: retopologia e geração de texturas do Tripo. Primeiro, reduza a contagem de faces do modelo de 2 milhões: faça a retopologia em triângulos com 150.000 faces e só então gere as texturas.

Ponto-chave: a IA usa as três vistas como referência ao gerar as texturas, preservando a sensação de história e os vestígios culturais.

10 / VISÃO GERAL

Bake e refinamento de materiais

Objetivo: fazer o bake dos detalhes do high-poly no modelo low-poly e entrar no pipeline de tempo real da UE5.

Ferramentas: Substance Painter (SP) com correspondência entre high-poly e low-poly.

Ponto-chave: esta etapa decide se o asset aguenta as variações de luz na UE5.

• Reserve tempo para o SP: 15–20% do total, para não descobrir detalhes de textura quebrados só depois de chegar à UE5.
• Defina uma convenção de nomes para as texturas: o conjunto completo de cinco, _BaseColor / _Normal / _Roughness / _Metallic / _AO, é obrigatório.
• Teste o asset sob iluminação extrema na UE5: ele se mantém estável com luz forte, sombras e manchas de luz em movimento?

Para pintar texturas com IA diretamente no SP, veja este tutorial de plugin de Tianyu Xingfan no bilibili (em chinês):

11 / VISÃO GERAL

Integração em uma cena da UE5

Objetivo: colocar o asset digital em uma cena narrativa, para que o público acredite que não está diante de um render, mas de um momento no tempo com uma história.

Ferramentas: Lumen, a iluminação em tempo real da UE5, com a geometria de micropolígonos do Nanite.

Ponto-chave: contar a história com a luz e o design da cena transforma o modelo em uma obra acabada.

12 / VISÃO GERAL

Um asset reutilizável: a estela digital

A estela digital é o asset complementar mais criativo do projeto: a IA transforma uma inscrição tradicional em um objeto 3D que você pode esculpir. O mesmo método se estende a qualquer trabalho que transforme um padrão 2D em um modelo 3D, como padrões de armaduras, bordados ou treliças de janela entalhadas.

A inscrição

Inscrição em Estela sobre o Renascimento Digital da Guanyin da Lua na Água

Guanyin, a Grande Bodhisattva, encarnada como a lua na água, foi esculpida pela primeira vez nas dinastias Liao e Jin por uma lâmina de prodigiosa mestria, de porte leve como nuvem errante. Mas os anos seguiram seu curso, a madeira e a pedra fenderam-se, a pintura desfez-se em lascas, e ela partiu para longe, além dos mares, de sorte que sua terra natal já não podia contemplar sua verdadeira face.

Hoje, a ciência da computação inteligente estende-se da terra ao céu. Reunindo as imagens que ela deixou além-mar e as mais tênues partículas de luz, damos-lhe forma com números, e não com cinzéis, e reerguemos sua sagrada efígie onde o real e o virtual coexistem. Cada fissura, fina como um fio de cabelo, ressurge num traçado nítido; seus colares e vestes voltam a parecer novos sob a luz. Doravante, do Monte Sumeru a um grão de mostarda, todas as coisas podem tomar forma, e dez milhões de faces de malha edificam juntas a compaixão.

Ainda que montanhas e mares se interponham, seu espírito retorna à China. Este renascimento não é mera areia amontoada até formar um pagode, mas o encontro entre a mestria artesanal e o engenho divino. Gravamos este registro em pedra, na esperança de que sua forma perdure, imperecível através de mil kalpas, e acenda a inspiração das gerações vindouras.

Dia auspicioso do início do verão, ano bingwu (2026)

Como gerá-la

Objetivo: gerar o modelo 3D a partir de uma imagem da estela sem inscrição e, depois, projetar a inscrição de volta no modelo high-poly, no ZBrush.

• Prepare uma imagem da inscrição. O fundo precisa ser preto puro.
• Gere a base 3D da estela com o Tripo.
• No ZBrush, pressione Shift+Z para abrir o Spotlight e projete a imagem da inscrição sobre a superfície 3D.
• Com a imagem posicionada, pressione Z para mudar para o modo de pintura e aplique o texto com o pincel.
• Exporte o modelo high-poly e faça o bake das normais no SP.

Inscrição em fundo preto

Estela gerada com o Tripo

Refinamento de materiais

• Importe no SP o modelo high-poly do ZBrush com o texto projetado.
• Faça o bake dos detalhes do texto do modelo high-poly no mapa de normais do low-poly.
• Recrie materiais simples no SP: pedra, musgo e neve.

Estela sem inscrição

Após a projeção

Material de pedra no SP

Onde reutilizar: qualquer trabalho que transforme um padrão 2D em um modelo 3D, como padrões na superfície de armaduras, treliças de janela entalhadas, bordados ou motivos de pontas de telha.

13 / VISÃO GERAL

Narrativa da cena: Templo Zen após a Neve

No fim, a Guanyin da Lua na Água não é exibida isoladamente: ela é colocada em uma cena narrativa, Templo Zen após a Neve. Esta é a parte do projeto que mais vale levar para outros trabalhos. Um asset nunca é a linha de chegada; a história da cena é a alma da obra.

Fundamentos do design de cena

Núcleo narrativo: simular o sol poente que, depois da nevada, atravessa os consolos dougong do templo, para que a iluminação Lumen dê ao modelo de IA uma vida que vai além do tradicional.

Três ações concretas durante o design da cena:

• Escreva uma história da cena em 200 caracteres: o que o público deve sentir e ver à primeira vista?
• Escolha um plano principal: todo o trabalho técnico gira em torno dele.
• Defina uma direção para o design de som: sinos do templo, vento, cânticos. O som é metade da história.

Integração da cena

Na UE5, o asset gerado da Guanyin é colocado no pátio do templo coberto de neve, e a iluminação Lumen lhe dá vida.

“Forma dada por números, não por cinzéis; uma sagrada efígie renascida onde o real e o virtual coexistem.” Esta é a síntese mais concisa da equipe sobre o patrimônio digital.

O detalhe supremo: o espírito da bodhisattva

O modelo e as texturas de alta precisão gerados por IA capturam os veios desgastados da madeira e a tensão geométrica da postura. Os critérios finais de aceitação:

• À primeira vista, lembra o original: passa no teste da intuição cultural
• No terceiro olhar, traz algo novo: detalhes realçados pela IA, como o desgaste e a pátina, precisam estar visíveis
• No décimo olhar, continua firme: resiste a um exame atento sob qualquer luz e de qualquer ângulo

A IA não é o ponto final da arte, mas um combustível para a imaginação. No longo rio da restauração do patrimônio, não restauramos apenas objetos, mas o significado cultural que liga o passado ao presente.