説明
写真は瞬間を残してくれますが、同時にそれを固定された二次元のフレームの中に平たく押し込めてしまいます。「MemoAR」が提案するのは、瞬間が再び形を持ち、空間を占め、日常に戻ってくる、新しいかたちの記憶アーカイブです。思い出をフレームの外にも存在させたいと願う人への贈り物です。
「MemoAR」は iOS 向けのモバイル AR アプリで、手持ちの写真や新たに撮った瞬間を、インタラクティブな 3D の思い出オブジェクトに変えます。子どものころのおもちゃ、誕生日ケーキ、大好きな料理を画像から再構築し、AR で身の回りの空間に呼び出せます。写真を 3D にすることで変わるのは、見た目だけではありません。思い出の周りを歩き、新しい角度から眺め、サイズや位置を変え、現実の面の上に置き、手で触れて操作し、複数の思い出を同じ空間に集めることができます。何年も前のケーキが食卓に戻ってくることもあれば、今日撮ったものが、未来に再会する 3D の思い出になることもあります。さらに「MemoAR」はコンテキストに応じた再表示にも対応しており、大切な思い出は写真ライブラリに埋もれたままにならず、ふさわしい時と場所で再び現れます。
チームは 16 人の参加者とともに、329 件の思い出を対象に「MemoAR」を評価しました。参加者が 3D の思い出オブジェクトを作った理由は、大切な瞬間を残すためだけでなく、見た目の美しさ、コレクションする楽しさ、好奇心、手に取れるものとしての価値にもありました。AR の中では、思い出を使って過去と現在をつなぎ直したり、遊び心のある組み合わせを作ったり、記憶の中の物に触れたり、身の回りの空間を作り変えたりしていました。こうして生まれるのが、写真を撮る（または再発見する）、3D にする、AR で配置して触れる、時を経て再び出会う、という途切れない記憶のループです。
イベント前の「MemoAR」は初期プロトタイプを備えた研究コンセプトで、研究計画は IRB（倫理審査委員会）の承認を得ていました。イベント期間中、チームはこれを現在のエンドツーエンドの iOS システムへと作り直しました。洗練されたフロントエンド、データベースとユーザー管理を備えたバックエンド、Tripo を使った写真から 3D への完全なパイプライン、空中でのハンドジェスチャーを含む AR での配置と操作、複数オブジェクトの組み合わせ、思い出を現実の場所に残してそこで再び見られる位置情報ベースの保存、そしてシステム全体のデプロイです。ユーザー調査とその分析も、イベント期間中に行われました。
Tripo の活用方法
Tripo は「MemoAR」を支える中核の 3D 生成エンジンです。チームは Tripo を単発のアセット制作に使うのではなく、Tripo API を一連の記憶パイプラインに組み込みました。
- Gemini が写真の中の意味ある被写体と文脈を見つけ出し、スタイライズされた参照画像を生成します。
- Tripo API の画像から 3D 生成が、その参照画像を一貫性のある 3D の思い出オブジェクトに変えます。
- 生成されたモデルはその後、モバイル AR の中で配置、操作、組み合わせ、空間への保存が行われ、時を経て再び現れます。
