Descrição
Fotos preservam momentos, mas também os achatam em quadros fixos e bidimensionais. O MemoAR propõe outro tipo de arquivo de memórias, em que os momentos ganham forma de novo, ocupam espaço e voltam à vida cotidiana. É um presente para quem quer que suas memórias existam além do quadro.
O MemoAR é um app móvel de AR para iOS que transforma fotos existentes e momentos recém-capturados em objetos de memória 3D interativos. Um brinquedo de infância, um bolo de aniversário ou uma refeição favorita podem ser reconstruídos a partir de uma imagem e trazidos para o seu entorno por meio de AR. Transformar uma foto em 3D muda mais do que a aparência: você pode dar a volta em uma memória, vê-la de novos ângulos, redimensioná-la e reposicioná-la, colocá-la sobre superfícies do mundo real, interagir com ela usando as mãos e reunir várias memórias no mesmo espaço. Um bolo de anos atrás pode voltar à mesa de jantar; algo registrado hoje pode se tornar uma memória 3D que você reencontrará no futuro. O MemoAR também oferece ressurgimento sensível ao contexto, para que memórias significativas reapareçam em momentos e lugares relevantes, em vez de ficarem enterradas na galeria de fotos.
A equipe avaliou o MemoAR com 16 participantes e 329 memórias. Os participantes criaram objetos de memória 3D não só para preservar momentos significativos, mas também por estética, colecionabilidade, curiosidade e valor tangível. Em AR, usaram as memórias para reconectar passado e presente, fazer composições divertidas, interagir com objetos lembrados e remodelar o ambiente ao redor. O resultado é um ciclo contínuo de memória: capturar ou redescobrir uma foto, transformá-la em 3D, posicioná-la e interagir com ela em AR, e reencontrá-la ao longo do tempo.
Antes do evento, o MemoAR era um conceito de pesquisa com um protótipo inicial, e o desenho do estudo tinha aprovação de um comitê de ética (IRB). Durante o evento, a equipe o reconstruiu como o atual sistema iOS de ponta a ponta: um frontend refinado, um backend com banco de dados e gerenciamento de usuários, o pipeline completo de foto para 3D com o Tripo, posicionamento e manipulação em AR, incluindo gestos com as mãos no ar, composição com vários objetos, salvamento por localização para que as memórias possam ser deixadas em um lugar físico e revisitadas ali, e a implantação de todo o sistema. O estudo com usuários e sua análise também foram feitos durante o evento.
Como o Tripo foi usado
O Tripo é o motor central de geração 3D por trás do MemoAR. Em vez de usá-lo para criar assets avulsos, a equipe integrou a API do Tripo em um pipeline completo de memórias:
- O Gemini identifica o elemento principal e o contexto que importam em uma foto e gera uma imagem de referência estilizada.
- O image-to-3D da API do Tripo transforma a referência em um objeto de memória 3D consistente.
- Os modelos são então posicionados, manipulados, combinados, salvos no espaço e trazidos de volta ao longo do tempo em AR móvel.
