설명
「Aural Matter」는 생성된 3D를 완성된 이미지가 아니라 계속 변형에 열려 있는 물질로 다루는 실시간 공간 퍼포먼스 악기입니다. World Labs 환경, Tripo로 생성한 메시, 샘플링한 포인트, 라이브 오디오가 공유 TouchDesigner 시스템으로 흘러들고, 그 안에서 가우시안, 포인트, 메시 표현을 공간 필드, 모핑, 카메라, 조명, 광학 처리를 통해 다시 구성할 수 있습니다.
이 작품의 구조는 저작의 역할을 세 가지로 나눕니다. 생성은 재료를 준비하고, 명시적인 규칙은 관계를 보존하고 변형하며, 퍼포먼스는 그 변형이 언제 일어날지를 결정합니다. Aural Matter는 음악을 비트에 맞춰 터지는 효과로 축소하지 않고, 소리를 압력과 자극의 필드로 다룹니다. 저역, 중역, 고역, 트랜지언트 신호가 선택된 파라미터를 변조하는 동안, 퍼포머는 세계, 표현, 타이밍, 강도에 대한 통제권을 계속 쥐고 있습니다.
작품의 중심에는 연속성과 분해 사이의 긴장이 있습니다. 하나의 공간은 일관된 환경으로 지각되다가, 정체성을 잃지 않은 채 입자, 표면, 신호, 필드로 서서히 드러날 수 있습니다. 생성된 세계와 모델은 최종 에셋이 아니라 재구성하고, 조명을 비추고, 연주할 수 있는 물질의 상태입니다. 이 프로젝트는 또한 생성과 퍼포먼스를 하나의 연속된 워크플로로 잇습니다. Tripo와 World Labs 에셋은 생성하거나 가져온 뒤 정규화하고, 포터블 프로젝트 라이브러리에 등록해, 연주 가능한 소스로 라이브 시스템에 다시 보낼 수 있습니다.
해커톤 이전에는 기본적인 3DGS 표시, 오디오 분석, 카메라 모션을 갖춘 AuralAlchemy라는 TouchDesigner 초기 프로토타입이 있었습니다. Tripothon 기간에 이를 대폭 재구축해 Aural Matter로 만들었으며, 아키텍처를 재구성하고, Tripo와 World Labs API 연동 및 에셋 등록을 더하고, 가우시안·포인트·메시 표현을 통합하고, 라이브 퍼포먼스 인터페이스를 새로 만들었습니다. 이 작품은 공간 크리에이터와 라이브 비주얼 아티스트에게 주는 선물로, 생성된 3D는 의도적으로 미완성으로 남아 해석, 개입, 퍼포먼스에 열려 있어야 한다고 제안합니다.
Tripo 활용 방식
Aural Matter에서 Tripo로 생성한 모델은 결코 정적인 에셋으로 끝나지 않고, 계속 연주 가능한 상태로 남습니다.
- 생성과 가져오기: 프로젝트의 API / Services 레이어를 통해 3D 모델을 Tripo로 생성하거나 가져오면, 모델이 공유 에셋 라이브러리에 들어갑니다.
- 준비와 정규화: Prep / Normalize 단계를 거친 모델은 Mesh, Point, Hybrid 표현으로 사용할 수 있습니다.
- 퍼포먼스 속으로: 모델은 World Labs 공간, 그리고 Field, Camera, Lighting, Audio Mapping 같은 TouchDesigner 모듈과 함께 라이브로 재구성됩니다.
