返回

Aural Matter

一件把生成式 3D 当作可演奏物质的实时空间演出乐器:World Labs 的场景、Tripo 生成的网格和现场音频汇入 TouchDesigner,表演者随声音把空间拆解成粒子、表面与场,再重新组合。

作者: wegotvibes
Aural Matter

描述

《Aural Matter》是一件实时空间演出乐器。它不把生成式 3D 当作完成的画面,而是当作始终可以继续变形的「物质」。World Labs 生成的环境、Tripo 生成的网格、采样点和现场音频进入同一套 TouchDesigner 系统,高斯、点云和网格三种表现形式可以通过空间场、形变、镜头、灯光和光学处理重新组合。

作品把创作分成三层:生成负责准备素材,明确的规则负责保留和变换素材之间的关系,表演决定这些变换何时发生。它不把音乐简化成踩点触发的特效,而是把声音当作一种施加压力和刺激的场:低频、中频、高频和瞬态信号调制选定的参数,表演者则始终掌控世界、表现形式、时机和强度。

作品的核心是连续与分解之间的张力:一个空间先被感知为完整的环境,再逐渐显露为粒子、表面、信号和场,却不失去自己的身份。生成的世界和模型因此不是最终资产,而是可以被重组、照亮和演奏的物质状态。Aural Matter 还把生成和演出接成一条连续的工作流:Tripo 和 World Labs 的资产可以生成或导入,经过归一化后登记进可移植的项目素材库,再作为可演奏的素材回到现场系统。

赛前已有一个名为 AuralAlchemy 的 TouchDesigner 早期原型,具备基础的 3DGS 显示、音频分析和镜头运动等功能;黑客松期间,作品被大幅重建为 Aural Matter:重构整体架构,接入 Tripo 和 World Labs 的 API 与素材登记流程,统一高斯、点云和网格三种表现,并重做了现场演出界面。它送给空间创作者和现场视觉艺术家,主张生成式 3D 应当刻意保持未完成,向诠释、介入和表演敞开。

Tripo 用在哪里

在 Aural Matter 里,Tripo 生成的模型不会停留在静态资产,而是始终可以被演奏。

  • 生成与导入:通过项目的 API / Services 层,用 Tripo 生成或导入 3D 模型,进入共享素材库。
  • 准备与归一化:模型经过 Prep / Normalize 处理后,可以作为网格、点云或混合三种表现形式使用。
  • 进入演出:这些模型与 World Labs 的空间以及 TouchDesigner 的 Field、Camera、Lighting、Audio Mapping 等模块一起,在现场被重新组合。

宣传视频