ライブで試す 説明
少し前までは、モデル編集、テクスチャリング、UV 展開、リトポロジー、リギング、スケルタルアニメーションを習得してはじめて一人前のモデラーを名乗れましたし、Blender を使いこなすだけでも多くの時間がかかりました。「ChatSpace」は 3D モデラーへの贈り物です。作者は、LLM、NeRF、ガウシアンスプラッティング、エージェント基盤の進歩によって、モデラーが Blender や 3ds Max、C4D のような複雑なソフトウェアを先に覚えなくても、新しいツールを手にするチャンスが生まれたと考えています。
発想はこうです。3D モデリングに役立つあらゆる AI の機能と、Blender 自体にできることのすべてを、AI が呼び出せるツールとして抽象化し、すべての作業を自然言語で行えるようにする。モデリング、テクスチャリング、UV 展開、リトポロジー、ベイク、リギング、スケルタルアニメーション、さらには CAD 製図まで、かつてはモデリングソフトの中で何度も手順を重ねる必要があった複雑な作業が、1 回のやり取りで完了します。すべてがひとつのチャット欄の中で行われ、並列でもバッチでも実行できるので、多くのモデルを一度に編集できます。
たとえばシーンの写真をアップロードすると、AI が写っているものを読み取り、要素ごとのリファレンス画像と 3D モデルをまとめて生成し、モデルを本来の位置に配置します。あとはそのまま編集を続けられます。ハンドトラッキングに対応した一人称モードもあります。シーン内のモデルを手でつかんで選択し、モデリングやリトポロジーから UV 展開、アニメーションまで、やりたいことを話すか入力するだけです。このインタラクションは XR を念頭に設計されています。
AI によるモデリングはすでに高速です。では、10 の AI が同時にまとめてモデリングしてくれたらどうなるでしょうか。作者は、効率の向上は 10 倍にとどまらないと考えています。
Tripo の活用方法
作者は、Tripo API のドキュメントにあるすべての機能を、エージェントが呼び出せるツールにしました。モデル生成、リファレンス画像生成、テクスチャ編集、パーツ分割、メッシュ補完、リトポロジー、リギング、アニメーションなどです。
- 写真からシーンへ：ユーザーがシーンの写真をアップロードすると、AI がどんな要素が含まれているかを読み取り、Tripo が要素ごとにリファレンス画像、続いて 3D モデルをまとめて生成し、それぞれ本来の位置に配置します。ユーザーは Tripo のほかの機能を使って編集を続けられます。
- World Labs との連携：World Labs のシーン内の要素は単独では操作できないため、作者はエージェントのワークフローを構築しました。画像モデルが写真から物体を取り除いて背景だけのきれいなリファレンスを作り、World Labs がそこから環境を生成し、取り除いた物体を Tripo がまとめて 3D モデルとして生成し、コライダーとインタラクションのロジックを加えることで、インタラクティブな 3D シーンができあがります。
