ChatSpace

Description

Il n’y a pas si longtemps, il fallait maîtriser l’édition de modèles, la texturation, le dépliage UV, la retopologie, le rigging et l’animation squelettique avant de pouvoir se dire modeleur qualifié, et maîtriser Blender à lui seul demandait beaucoup de temps. ChatSpace est un cadeau pour les modeleurs 3D. L’auteur est convaincu qu’avec les progrès des LLM, du NeRF, du Gaussian splatting et de l’infrastructure d’agents, les modeleurs ont désormais la possibilité d’accéder à de nouveaux outils, sans devoir d’abord apprendre des logiciels complexes comme Blender, 3ds Max ou C4D.

L’idée : abstraire chaque capacité d’IA utile à la modélisation 3D, ainsi que tout ce que Blender sait faire, en outils qu’une IA peut appeler, afin que tout le travail puisse se faire en langage naturel. Des tâches complexes qui demandaient auparavant de nombreux allers-retours dans un logiciel de modélisation, comme la modélisation, la texturation, le dépliage UV, la retopologie, le baking, le rigging, l’animation squelettique et même le dessin CAD, peuvent être réalisées en un seul échange. Tout se passe dans une même fenêtre de chat et peut s’exécuter en parallèle et par lots, ce qui permet d’éditer de nombreux modèles à la fois.

Par exemple, importez la photo d’une scène : l’IA identifie ce qu’elle contient, génère par lots des images de référence et des modèles 3D pour chaque élément, puis dispose les modèles à l’endroit voulu, prêts à être retouchés. Il existe aussi un mode à la première personne avec suivi des mains : saisissez et sélectionnez un modèle dans la scène avec la main, puis dites ou tapez ce que vous voulez, de la modélisation et de la retopologie au dépliage UV et à l’animation. L’interaction est pensée pour la XR.

La modélisation par IA est déjà rapide. Que se passe-t-il quand dix IA modélisent pour vous par lots, en même temps ? Pour l’auteur, le gain d’efficacité dépasse un facteur dix.

Comment Tripo a été utilisé

L’auteur a transformé chaque capacité décrite dans la documentation de l’API Tripo en un outil que l’agent peut appeler, notamment la génération de modèles, la génération d’images de référence, l’édition de textures, la segmentation en parties, la complétion de maillage, la retopologie, le rigging et l’animation.

• De la photo à la scène : l’utilisateur importe la photo d’une scène, l’IA identifie les éléments qu’elle contient, et Tripo génère par lots des images de référence puis des modèles 3D pour chaque élément, qui sont placés à l’endroit voulu. L’utilisateur peut continuer à les éditer avec les autres capacités de Tripo.
• En tandem avec World Labs : les éléments d’une scène World Labs ne sont pas interactifs individuellement, l’auteur a donc conçu un workflow d’agents. Un modèle d’image retire les objets de la photo pour obtenir une référence épurée du décor, World Labs génère l’environnement à partir de celle-ci, Tripo génère par lots les objets retirés sous forme de modèles 3D, puis des colliders et une logique d’interaction sont ajoutés, ce qui donne une scène 3D interactive.