ChatSpace

Описание

Ещё недавно, чтобы называть себя квалифицированным моделлером, нужно было освоить редактирование моделей, текстурирование, UV-развёртку, ретопологию, риггинг и скелетную анимацию, а одно лишь освоение Blender отнимало массу времени. «ChatSpace» — подарок 3D-моделлерам. Автор считает, что благодаря прогрессу LLM, NeRF, гауссова сплаттинга и инфраструктуры для агентов у моделлеров появился шанс получить новые инструменты, не изучая сначала сложные программы вроде Blender, 3ds Max или C4D.

Идея такова: абстрагировать все возможности ИИ, помогающие в 3D-моделировании, а также всё, что умеет сам Blender, в инструменты, которые может вызывать ИИ, чтобы всю работу можно было выполнять на естественном языке. Сложные задачи, которые раньше требовали множества заходов в программах для моделирования, — моделирование, текстурирование, UV-развёртка, ретопология, запекание, риггинг, скелетная анимация и даже CAD-черчение — можно выполнить за один обмен репликами. Всё происходит в одном окне чата и может выполняться параллельно и пакетно, так что редактировать можно сразу много моделей.

Например, загрузите фотографию сцены: ИИ определит, что на ней изображено, пакетно сгенерирует референсные изображения и 3D-модели для каждого элемента и расставит модели по местам, чтобы их можно было редактировать дальше. Есть и режим от первого лица с отслеживанием рук: возьмите и выделите модель в сцене рукой, а затем скажите или напечатайте, что нужно сделать, — от моделирования и ретопологии до UV-развёртки и анимации. Взаимодействие спроектировано с прицелом на XR.

ИИ-моделирование и так быстрое. А что, если десять ИИ одновременно и пакетно моделируют для вас? Автор считает, что прирост эффективности окажется больше чем десятикратным.

Как использовался Tripo

Автор превратил каждую возможность из документации Tripo API в инструмент, который может вызывать агент: генерацию моделей, генерацию референсных изображений, редактирование текстур, сегментацию на части, достраивание меша, ретопологию, риггинг и анимацию.

• Из фото в сцену: пользователь загружает фотографию сцены, ИИ определяет, какие элементы на ней есть, а Tripo пакетно генерирует для каждого элемента референсные изображения, а затем 3D-модели, которые расставляются по местам. Пользователь может продолжать редактирование с помощью других возможностей Tripo.
• Работа с World Labs: с элементами внутри сцены World Labs нельзя взаимодействовать по отдельности, поэтому автор построил агентный рабочий процесс. Модель для изображений удаляет объекты с фотографии, чтобы получить чистый референс локации, World Labs генерирует по нему окружение, Tripo пакетно генерирует удалённые объекты в виде 3D-моделей, после чего добавляются коллайдеры и логика взаимодействия — в результате получается интерактивная 3D-сцена.