라이브 체험 설명
얼마 전까지만 해도 모델 편집, 텍스처링, UV 언래핑, 리토폴로지, 리깅, 스켈레탈 애니메이션을 모두 익혀야 제대로 된 모델러라고 할 수 있었고, Blender 하나를 능숙하게 다루는 데만도 많은 시간이 걸렸습니다. ChatSpace는 3D 모델러를 위한 선물입니다. 작가는 LLM, NeRF, 가우시안 스플래팅, 에이전트 인프라가 발전하면서, 이제 모델러가 Blender나 3ds Max, C4D 같은 복잡한 소프트웨어를 먼저 배우지 않고도 새로운 도구를 손에 넣을 기회가 생겼다고 봅니다.
아이디어는 이렇습니다. 3D 모델링에 도움이 되는 모든 AI 기능과 Blender 자체가 할 수 있는 모든 것을 AI가 호출할 수 있는 도구로 추상화해, 모든 작업을 자연어로 할 수 있게 하는 것입니다. 모델링, 텍스처링, UV 언래핑, 리토폴로지, 베이킹, 리깅, 스켈레탈 애니메이션, 심지어 CAD 도면 작업까지, 예전에는 모델링 소프트웨어 안에서 여러 차례 오가야 했던 복잡한 작업을 한 번의 대화로 끝낼 수 있습니다. 이 모든 것이 하나의 채팅창에서 이루어지며 병렬, 일괄로 실행할 수 있어 많은 모델을 한꺼번에 편집할 수 있습니다.
예를 들어 장면 사진을 업로드하면, AI가 사진 속에 무엇이 있는지 파악하고 각 요소의 레퍼런스 이미지와 3D 모델을 일괄 생성한 뒤, 모델을 제자리에 배치해 바로 추가 편집할 수 있게 합니다. 핸드 트래킹을 지원하는 1인칭 모드도 있습니다. 장면 속 모델을 손으로 잡아 선택한 다음, 모델링과 리토폴로지부터 UV 언래핑, 애니메이션까지 원하는 작업을 말하거나 입력하면 됩니다. 이 인터랙션은 XR을 염두에 두고 설계되었습니다.
AI 모델링은 이미 빠릅니다. 그렇다면 AI 열 개가 동시에 일괄로 모델링해 준다면 어떻게 되겠습니까? 작가는 효율이 열 배 이상 높아진다고 생각합니다.
Tripo 활용 방식
작가는 Tripo API 문서에 있는 모든 기능을 에이전트가 호출할 수 있는 도구로 만들었습니다. 모델 생성, 레퍼런스 이미지 생성, 텍스처 편집, 파트 분할, 메시 보완, 리토폴로지, 리깅, 애니메이션 등이 포함됩니다.
- 사진에서 장면으로: 사용자가 장면 사진을 업로드하면 AI가 어떤 요소들이 담겨 있는지 파악하고, Tripo가 각 요소의 레퍼런스 이미지와 이어서 3D 모델을 일괄 생성해 제자리에 배치합니다. 사용자는 Tripo의 다른 기능으로 계속 편집할 수 있습니다.
- World Labs와의 협업: World Labs 장면 안의 요소는 개별적으로 상호작용할 수 없기 때문에, 작가는 에이전트 워크플로를 구축했습니다. 이미지 모델이 사진에서 물체들을 지워 배경만 남은 깨끗한 레퍼런스를 얻고, World Labs가 이를 바탕으로 환경을 생성하며, Tripo가 지운 물체들을 3D 모델로 일괄 생성하고, 콜라이더와 인터랙션 로직을 더해 인터랙티브 3D 장면을 완성합니다.
