Описание
Фотографии сохраняют моменты, но и сплющивают их в неподвижные двумерные кадры. MemoAR предлагает другой вид архива воспоминаний, где моменты вновь обретают форму, занимают пространство и возвращаются в повседневную жизнь. Это подарок для тех, кто хочет, чтобы их воспоминания существовали за пределами кадра.
MemoAR — мобильное AR-приложение для iOS, которое превращает уже существующие фотографии и только что запечатлённые моменты в интерактивные 3D-объекты воспоминаний. Детскую игрушку, торт на день рождения или любимое блюдо можно восстановить по изображению и перенести в своё окружение с помощью AR. Превращение фотографии в 3D меняет не только её облик: воспоминание можно обойти вокруг, рассмотреть под новыми углами, изменить его размер и положение, поставить на реальные поверхности, взаимодействовать с ним руками и собрать несколько воспоминаний в одном пространстве. Торт многолетней давности может вернуться на обеденный стол, а то, что вы запечатлели сегодня, — стать 3D-воспоминанием, с которым вы встретитесь в будущем. MemoAR также поддерживает контекстное возвращение воспоминаний: значимые воспоминания снова появляются в подходящие моменты и в подходящих местах, а не остаются похороненными в фотогалерее.
Команда протестировала MemoAR с 16 участниками на 329 воспоминаниях. Участники создавали 3D-объекты воспоминаний не только для того, чтобы сохранить значимые моменты, но и ради эстетики, коллекционирования, любопытства и ощутимой ценности. В AR они использовали воспоминания, чтобы заново связать прошлое и настоящее, составлять игривые композиции, взаимодействовать с запомнившимися предметами и преображать своё окружение. В результате возникает непрерывный цикл памяти: снять фотографию или найти её заново, превратить её в 3D, разместить в AR и взаимодействовать с ней, а со временем встретиться с ней снова.
До мероприятия MemoAR был исследовательской концепцией с ранним прототипом, а дизайн исследования был одобрен этическим комитетом (IRB). Во время мероприятия команда пересобрала его в нынешнюю сквозную систему для iOS: отполированный фронтенд, бэкенд с базой данных и управлением пользователями, полный пайплайн «фото → 3D» на базе Tripo, размещение и манипуляции в AR, включая жесты руками в воздухе, композиции из нескольких объектов, сохранение с привязкой к местоположению, чтобы воспоминания можно было оставить в реальном месте и вернуться к ним там, и развёртывание всей системы. Пользовательское исследование и его анализ также были проведены во время мероприятия.
Как использовался Tripo
Tripo — основной движок 3D-генерации в MemoAR. Вместо того чтобы использовать его для разового создания ассетов, команда встроила Tripo API в полноценный пайплайн воспоминаний:
- Gemini определяет значимый объект и контекст на фотографии и генерирует стилизованное референсное изображение.
- Image-to-3D в Tripo API превращает референс в целостный 3D-объект воспоминания.
- Затем модели размещаются, трансформируются, комбинируются, сохраняются в пространстве и со временем снова всплывают в мобильной AR.
