Beschreibung
Fotos bewahren Momente, aber sie pressen sie auch in feste, zweidimensionale Rahmen. MemoAR schlägt eine andere Art von Erinnerungsarchiv vor, in dem Momente wieder Gestalt annehmen, Raum einnehmen und in den Alltag zurückkehren. Es ist ein Geschenk für Menschen, die möchten, dass ihre Erinnerungen über den Bildrahmen hinaus existieren.
MemoAR ist eine mobile AR-App für iOS, die vorhandene Fotos und neu aufgenommene Momente in interaktive 3D-Erinnerungsobjekte verwandelt. Ein Kindheitsspielzeug, ein Geburtstagskuchen oder ein Lieblingsessen lässt sich aus einem Bild rekonstruieren und per AR in Ihre Umgebung holen. Ein Foto in 3D zu verwandeln, verändert mehr als sein Aussehen: Sie können um eine Erinnerung herumgehen, sie aus neuen Blickwinkeln betrachten, ihre Größe und Position ändern, sie auf realen Oberflächen platzieren, mit den Händen mit ihr interagieren und mehrere Erinnerungen im selben Raum zusammenbringen. Ein Kuchen von vor Jahren kann auf den Esstisch zurückkehren; etwas, das Sie heute festhalten, kann zu einer 3D-Erinnerung werden, der Sie in Zukunft wieder begegnen. MemoAR unterstützt außerdem kontextbezogenes Wiederauftauchen, sodass bedeutsame Erinnerungen zu passenden Momenten und an passenden Orten wieder erscheinen, statt in einer Fotomediathek begraben zu bleiben.
Das Team evaluierte MemoAR mit 16 Teilnehmern und 329 Erinnerungen. Die Teilnehmer erstellten 3D-Erinnerungsobjekte nicht nur, um bedeutsame Momente zu bewahren, sondern auch aus ästhetischen Gründen, aus Sammelleidenschaft, aus Neugier und wegen ihres greifbaren Werts. In AR nutzten sie Erinnerungen, um Vergangenheit und Gegenwart wieder zu verbinden, spielerische Arrangements zu schaffen, mit erinnerten Objekten zu interagieren und ihre Umgebung umzugestalten. Das Ergebnis ist ein kontinuierlicher Erinnerungskreislauf: ein Foto aufnehmen oder wiederentdecken, es in 3D verwandeln, es in AR platzieren und mit ihm interagieren und ihm im Laufe der Zeit wieder begegnen.
Vor dem Event war MemoAR ein Forschungskonzept mit einem frühen Prototyp, und das Studiendesign hatte eine IRB-Genehmigung. Während des Events baute das Team es zum aktuellen End-to-End-System für iOS um: ein ausgefeiltes Frontend, ein Backend mit Datenbank und Nutzerverwaltung, die vollständige Foto-zu-3D-Pipeline mit Tripo, AR-Platzierung und -Manipulation einschließlich Handgesten in der Luft, die Komposition mehrerer Objekte, standortbasiertes Speichern, damit Erinnerungen an einem physischen Ort hinterlassen und dort wieder besucht werden können, sowie das Deployment des gesamten Systems. Auch die Nutzerstudie und ihre Auswertung entstanden während des Events.
Wie Tripo eingesetzt wurde
Tripo ist die zentrale 3D-Generierungs-Engine hinter MemoAR. Statt es für die einmalige Erstellung von Assets zu nutzen, hat das Team die Tripo API in eine vollständige Erinnerungs-Pipeline eingebaut:
- Gemini erkennt das bedeutsame Motiv und den Kontext auf einem Foto und generiert ein stilisiertes Referenzbild.
- Image-to-3D der Tripo API verwandelt die Referenz in ein konsistentes 3D-Erinnerungsobjekt.
- Die Modelle werden dann in mobiler AR platziert, bearbeitet, kombiniert, räumlich gespeichert und im Laufe der Zeit wieder hervorgeholt.
