Unwrapped

Описание

Unwrapped — подарок для ребёнка, который любит песню, но понятия не имеет, как она сделана. Песню выбирает кто-то из родителей, брат, сестра или учитель, и она превращается в 3D-мир, куда ребёнок может войти и разобрать песню на части — в одиночку или вместе с кем-то.

Всё начинается в тишине. Песня разделена на инструменты, и каждый из них спит где-то в этом мире. Подойдите к одному — и он вступает, слой за слоем, пока не зазвучит весь трек. Тогда с неба падает стол. Звук пространственный: место, где вы стоите, и есть микс. Идите к барабанам — и они становятся громче; поверните голову — и микс поворачивается вместе с вами. Возьмите инструмент и несите его — его звук будет перемещаться вместе с ним. Инструмент можно заглушить или послушать отдельно.

Стол — это микшерный пульт, на котором играют предметами; он вдохновлён Reactable. Поставьте эффект (реверберацию, дилей, фильтр, дисторшн) рядом с инструментом — и он будет применён к этому инструменту; поставьте рядом ещё один — и два эффекта выстроятся в цепочку. Войдите внутрь эффекта, чтобы увидеть его действие на живом графике, и удерживайте клавишу, чтобы слышать только то, что он добавляет. Красная кнопка возвращает всё как было.

Чтобы было интересно, в игре есть обучение, которое ждёт, пока вы выполните каждый шаг; миссии со звёздами — например, поместить вокалиста в собор, оставить только бит или заставить бас рычать, — каждая из которых проверяется по реальному звучанию; пять ландшафтов, реагирующих на музыку; и режим «Текст песни», в котором каждое слово, спетое вокалистом, превращается в объект, вылетающий из него.

Другая песня — другой мир: загрузите свою, и пайплайн построит его. Игра создана на three.js и Web Audio API и работает в браузере; автор называет её игрой, которую в детстве хотелось бы получить от кого-нибудь в подарок. Всё было сделано с нуля во время мероприятия, первый коммит — 20 сентября 2026 года. Единственный общий фрагмент — небольшая универсальная обёртка для загрузки Demucs, написанная по тому же шаблону, что и в более раннем проекте, никак не связанном с этим.

Как использовался Tripo

Tripo — основа этого мира: каждый 3D-объект здесь — модель Tripo, а то, что будет создано, зависит от музыки.

• Звук задаёт форму: у каждого инструмента, выделенного из песни, измеряются яркость, плотность и шумность, и эти значения определяют слова его промпта для Tripo.
• Слова песни становятся моделями: существительные из спетого текста тоже превращаются в модели Tripo.
• Любая песня — новый мир: Tripo API соединён в цепочку с Demucs, librosa, Whisper и three.js, поэтому любая песня автоматически становится новым миром.