Retour

Upright Planet

Une seule photo du dos d’un enfant fournit un premier dépistage de la scoliose fondé sur cinq indicateurs de symétrie, ainsi qu’un modèle 3D de son propre dos réalisé avec Tripo, qui devient en mode Monde une planète à restaurer. Un dépistage, pas un diagnostic.

Auteur: Quan
Essayer en direct
Upright PlanetEssayer en direct

Description

Upright Planet est né d’une histoire vraie. À l’été 2021, la Commission nationale de la santé et le ministère de l’Éducation de Chine ont révisé les règles des examens de santé des élèves du primaire et du secondaire, faisant pour la première fois du contrôle de la colonne vertébrale un examen de base. Cette année-là, l’équipe de l’auteur a rejoint une équipe conjointe plus large dans un district du Shaanxi pour le dernier test de terrain à grande échelle avant la publication de la norme : 36 caméras de profondeur construisaient en 5 secondes un modèle du dos de chaque élève pour un premier dépistage, avec un taux de réussite supérieur à 95 %, mais le coût du matériel a empêché sa généralisation. Cinq ans plus tard, devenu père, l’auteur a transformé ce regret en cette planète : une photo prise au téléphone et les capacités 3D de Tripo, pour offrir à chaque famille un premier dépistage gratuit et tout en douceur.

Prenez une photo du dos de l’enfant (les vues de profil et en flexion avant sont facultatives). MediaPipe localise des points de repère sur le corps et calcule cinq indicateurs de symétrie : l’équilibre des épaules, l’angle relatif épaules-bassin, le décalage latéral du tronc, la symétrie du contour de la taille et l’inclinaison du bassin. Le résultat est classé en niveau vert, jaune ou rouge selon l’approche de dépistage de la norme nationale chinoise GB/T 16133. En parallèle, Tripo transforme la même photo en un modèle 3D du dos de l’enfant lui-même en 40 secondes environ, sur lequel des lignes de mesure comme chez le médecin (épaules, bassin et ligne médiane) sont tracées directement, pour que toute asymétrie saute aux yeux.

En mode Monde, le dos devient une planète. L’asymétrie y apparaît sous forme de terrains éclipsés par l’ombre, que l’enfant restaure au fil de trois épreuves de mouvement devant la caméra, et les créatures gardiennes de la planète ont été générées avec Tripo text-to-3D. À la fin, la planète se redresse et les zones rouges se retirent pour laisser place à des oasis. C’est un cadeau pour chaque enfant qui cache son dos à ses parents.

L’application rappelle tout du long qu’elle propose un dépistage, pas un diagnostic, et le seul conseil qu’elle donne pour le niveau rouge est toujours de consulter un médecin pour une radiographie complète de la colonne. Comme les points de repère 2D ne peuvent pas mesurer la rotation axiale de la colonne vertébrale, les photos en flexion avant aboutissent toujours à un niveau prudent : l’application préfère refuser un vert plutôt que de rassurer à tort. Un questionnaire sur les risques élevés rend aussi le classement automatiquement plus strict.

Sous le capot, c’est un site statique sans étape de build, où Three.js et MediaPipe tournent entièrement en local : il fonctionne donc hors ligne, et il existe en version web et Android. Grâce au rendu 3D sans lunettes de Jupiter, la planète affiche une vraie profondeur sur un écran 3D lenticulaire.

Comment Tripo a été utilisé

Tripo est au cœur de l’œuvre, à deux titres :

  • Reconstruction du dos en image-to-3D : à partir d’une photo du dos d’un enfant, l’application appelle la fonction image-to-3D de l’API Tripo pour générer en 40 secondes environ un modèle 3D PBR du dos de l’enfant lui-même. Ce modèle n’est pas une pièce d’exposition mais la base du dépistage : les lignes des épaules et du bassin ainsi que la ligne médiane y sont superposées directement, ce qui rend l’asymétrie évidente. Un proxy de même origine contourne les restrictions CORS du navigateur sur l’API, si bien qu’un site purement statique peut exécuter tout le workflow.
  • Créatures en text-to-3D : les quatre créatures gardiennes, Jimao, Yiniao, Xingshu et Xiaoji, ont été générées avec Tripo text-to-3D et intégrées à l’œuvre ; leurs fiches de bestiaire affichent les prompts d’origine.

Tous ces modèles sont affichés via le pipeline de rendu 3D sans lunettes de Jupiter.

Bande-annonce