설명
사진은 순간을 보존하지만, 동시에 그 순간을 고정된 2차원 프레임 안에 납작하게 눌러 담습니다. MemoAR은 순간이 다시 형체를 갖추고, 공간을 차지하고, 일상으로 돌아오는 새로운 형태의 기억 아카이브를 제안합니다. 기억이 프레임 너머에 존재하기를 바라는 사람들을 위한 선물입니다.
MemoAR은 기존 사진과 새로 찍은 순간을 인터랙티브한 3D 기억 오브젝트로 바꾸는 iOS용 모바일 AR 앱입니다. 어린 시절의 장난감, 생일 케이크, 가장 좋아하는 음식을 이미지에서 재구성해 AR로 주변 공간에 불러올 수 있습니다. 사진을 3D로 바꾸면 겉모습 이상의 것이 달라집니다. 기억의 주위를 걸어 다니고, 새로운 각도에서 바라보고, 크기와 위치를 바꾸고, 현실의 표면 위에 놓고, 손으로 상호작용하고, 여러 기억을 같은 공간에 함께 모을 수 있습니다. 몇 년 전의 케이크가 식탁으로 돌아올 수도 있고, 오늘 담아 둔 무언가가 미래에 다시 마주칠 3D 기억이 될 수도 있습니다. MemoAR은 맥락 인식 재등장 기능도 지원해, 의미 있는 기억이 사진 보관함에 묻혀 있지 않고 관련된 순간과 장소에서 다시 나타나게 합니다.
팀은 16명의 참가자와 329개의 기억을 대상으로 MemoAR을 평가했습니다. 참가자들은 의미 있는 순간을 보존하기 위해서뿐 아니라, 미적 즐거움, 수집하는 재미, 호기심, 손에 잡히는 가치를 위해서도 3D 기억 오브젝트를 만들었습니다. AR 속에서는 기억을 활용해 과거와 현재를 다시 잇고, 재미있는 구성을 만들고, 기억 속 물건과 상호작용하고, 주변 공간을 새롭게 꾸몄습니다. 그 결과 끊임없이 이어지는 기억의 순환이 만들어집니다. 사진을 찍거나 다시 발견하고, 3D로 바꾸고, AR에서 배치하고 상호작용하며, 시간이 흐른 뒤 다시 만나는 순환입니다.
행사 이전의 MemoAR은 초기 프로토타입을 갖춘 연구 콘셉트였으며, 연구 설계는 IRB(연구윤리심의위원회) 승인을 받은 상태였습니다. 행사 기간에 팀은 이를 지금의 엔드투엔드 iOS 시스템으로 다시 만들었습니다. 다듬어진 프런트엔드, 데이터베이스와 사용자 관리를 갖춘 백엔드, Tripo를 활용한 완전한 사진-3D 변환 파이프라인, 공중 손동작을 포함한 AR 배치와 조작, 여러 오브젝트 조합, 기억을 실제 장소에 남겨 두고 그곳에서 다시 볼 수 있게 하는 위치 기반 저장, 그리고 시스템 전체의 배포까지 해냈습니다. 사용자 연구와 분석 역시 행사 기간에 진행했습니다.
Tripo 활용 방식
Tripo는 MemoAR을 떠받치는 핵심 3D 생성 엔진입니다. 팀은 Tripo를 일회성 에셋 제작에 쓰는 대신, Tripo API를 완전한 기억 파이프라인에 녹여 넣었습니다.
- Gemini가 사진 속 의미 있는 피사체와 맥락을 찾아내고, 스타일이 적용된 참조 이미지를 생성합니다.
- Tripo API 이미지 투 3D가 이 참조 이미지를 일관된 3D 기억 오브젝트로 바꿉니다.
- 생성된 모델은 이후 모바일 AR에서 배치, 조작, 조합되고, 공간에 저장되며, 시간이 흐른 뒤 다시 떠오릅니다.
