Описание
«Aural Matter» — инструмент для пространственных выступлений в реальном времени, который воспринимает сгенерированное 3D не как готовое изображение, а как материю, остающуюся открытой для трансформаций. Окружения World Labs, сгенерированные в Tripo меши, сэмплированные точки и живой звук поступают в общую систему TouchDesigner, где представления в виде гауссианов, точек и мешей можно пересобирать с помощью пространственных полей, морфинга, камеры, освещения и оптической обработки.
Структура работы разделяет три вида авторства: генерация готовит материал, явные правила сохраняют и преобразуют отношения, а исполнение решает, когда эти преобразования происходят. Вместо того чтобы сводить музыку к эффектам, срабатывающим по биту, Aural Matter рассматривает звук как поле давления и стимулов. Сигналы низких, средних и высоких частот, а также транзиенты модулируют выбранные параметры, а исполнитель сохраняет контроль над миром, представлением, таймингом и интенсивностью.
В центре работы — напряжение между непрерывностью и распадом: пространство можно воспринимать как цельное окружение, а затем постепенно раскрывать как частицы, поверхности, сигналы и поля, не теряя его идентичности. Сгенерированные миры и модели — не финальные ассеты, а состояния материи, которые можно реорганизовать, осветить и исполнить. Кроме того, проект объединяет генерацию и выступление в один непрерывный рабочий процесс: ассеты Tripo и World Labs можно сгенерировать или импортировать, нормализовать, зарегистрировать в переносимой библиотеке проекта и вернуть в живую систему как источники для игры.
Ранний прототип на TouchDesigner под названием AuralAlchemy с базовым отображением 3DGS, анализом звука и движением камеры существовал до хакатона. Во время Tripothon его существенно переработали в Aural Matter: перестроили архитектуру, добавили интеграцию с API Tripo и World Labs и регистрацию ассетов, объединили представления в виде гауссианов, точек и мешей и заново создали интерфейс для живого выступления. Это подарок создателям пространственных работ и художникам, работающим с живым визуалом; работа предлагает, чтобы сгенерированное 3D намеренно оставалось незавершённым — открытым для интерпретации, вмешательства и исполнения.
Как использовался Tripo
В Aural Matter модели, сгенерированные в Tripo, никогда не становятся статичными ассетами: на них по-прежнему можно играть.
- Генерация и импорт: через слой API / Services проекта 3D-модели генерируются в Tripo или импортируются, а затем попадают в общую библиотеку ассетов.
- Подготовка и нормализация: после этапа Prep / Normalize модели можно использовать в представлениях Mesh, Point или Hybrid.
- В выступление: их пересобирают вживую вместе с пространствами World Labs и модулями TouchDesigner, такими как Field, Camera, Lighting и Audio Mapping.
