Попробовать онлайн Описание
Проект «Upright Planet» вырос из реальной истории. Летом 2021 года Национальная комиссия здравоохранения и Министерство образования Китая пересмотрели правила медицинских осмотров учащихся начальных и средних школ, впервые включив обследование позвоночника в число базовых. В том же году команда автора в составе более крупной объединённой группы отправилась в один из уездов провинции Шэньси на последние масштабные полевые испытания перед публикацией стандарта: 36 камер глубины за 5 секунд строили модель спины каждого ученика для первичного скрининга, а успешность скрининга превысила 95%, но из-за стоимости оборудования масштабировать решение так и не удалось. Пять лет спустя автор, уже ставший отцом, превратил это сожаление в планету: одна фотография с телефона плюс 3D-возможности Tripo, чтобы каждая семья могла бесплатно и бережно пройти первичный скрининг.
Нужно сфотографировать спину ребёнка (снимки сбоку и в наклоне вперёд — по желанию). MediaPipe находит ориентиры на теле и вычисляет пять показателей симметрии: баланс плеч, относительный угол плеч и таза, боковое смещение корпуса, симметрию контура талии и наклон таза. По результату ребёнка относят к зелёной, жёлтой или красной группе в соответствии с подходом к скринингу из китайского национального стандарта GB/T 16133. Одновременно Tripo примерно за 40 секунд превращает ту же фотографию в 3D-модель собственной спины ребёнка и прямо на ней проводит измерительные линии, как у врача (линию плеч, линию таза и срединную линию), так что любая асимметрия хорошо заметна.
В режиме World спина превращается в планету. Асимметрия проявляется в виде участков рельефа, затмённых тенью, и ребёнок восстанавливает их, проходя перед камерой три двигательных испытания, а существа-хранители планеты созданы с помощью text-to-3D в Tripo. В финале планета снова выпрямляется, а красные зоны отступают, превращаясь в оазисы. Это подарок каждому ребёнку, который прячет спину от родителей.
Приложение на каждом шагу подчёркивает, что это скрининг, а не диагноз, и единственный совет, который оно даёт при красной группе, — обратиться к врачу и сделать рентген всего позвоночника. Поскольку по 2D-ориентирам нельзя измерить осевую ротацию позвоночника, снимки в наклоне вперёд всегда попадают в более осторожную группу: приложение скорее не выдаст «зелёный» результат, чем ложно успокоит. Анкета факторов высокого риска тоже автоматически ужесточает распределение по группам.
Технически это статический сайт без сборки: Three.js и MediaPipe работают полностью локально, поэтому всё доступно офлайн; есть веб-версия и версия для Android. Благодаря рендерингу Jupiter для 3D без очков планета обретает настоящую глубину на лентикулярном 3D-экране.
Как использовался Tripo
Tripo лежит в основе работы и используется двумя способами:
- Реконструкция спины через image-to-3D: по одной фотографии спины ребёнка приложение вызывает image-to-3D в Tripo API и примерно за 40 секунд получает 3D-модель собственной спины ребёнка с PBR-материалами. Модель — не экспонат, а основа скрининга: линии плеч, таза и срединная линия накладываются прямо на неё, и асимметрия становится очевидной. Same-origin-прокси обходит CORS-ограничения, которые браузер накладывает на обращения к API, поэтому весь процесс работает даже на чисто статическом сайте.
- Существа из text-to-3D: четыре существа-хранителя — Jimao, Yiniao, Xingshu и Xiaoji — созданы с помощью text-to-3D в Tripo и встроены в работу; на их карточках в бестиарии показаны исходные промпты.
Все эти модели отображаются через пайплайн рендеринга Jupiter для 3D без очков.
