Memories AIが変える物理AIの常識：視覚メモリレイヤーの実装でロボットは「忘れない」存在へ

3行要約

• Memories.aiがウェアラブルやロボット向けにビデオ記録をインデックス・検索する「大規模視覚メモリモデル」を開発した。
• 従来のLLMがテキストを処理するように、数千時間の映像から特定の瞬間や文脈を即座に抽出できる技術を構築している。
• これまで「垂れ流し」だったカメラ映像がAIの長期記憶として機能し、デバイスがユーザーの意図を先回りして理解する土台が整った。

何が起きたのか

これまでのウェアラブルデバイスやロボティクスにおいて、最大のボトルネックは「見てはいるが、覚えていない」ことでした。MetaのRay-Banグラスや各種AIピン、あるいは最新のヒューマノイドロボットにしても、カメラで常に世界をキャプチャしていますが、その膨大な映像データは処理された瞬間に捨てられるか、あるいは単なる「録画ファイル」としてクラウドに沈殿するだけでした。

Memories AIが発表した「大規模視覚メモリモデル（LVMM: Large Visual Memory Model）」は、この課題を根本から解決しようとしています。彼らが構築しているのは、物理的なAIデバイスが経験した全ての視覚情報をインデックス化し、必要な時に自然言語で検索・抽出可能にする「メモリレイヤー」です。

私がSIer時代に手がけた監視カメラシステムの案件では、特定のシーンを探すためにメタデータを付与したり、物体検出の結果をデータベースに詰め込んだりしていましたが、それでも「何が起きたか」の文脈を検索するのは至難の業でした。Memories AIは、このプロセスを基盤モデルのレベルで統合し、AIが「昨日、私がどこに鍵を置いたか」「このロボットが3時間前に作業を失敗した原因は何だったか」といった問いに即座に答えられるようにします。

今回の発表が重要なのは、AIの戦場が「インターネット上の学習データ」から「個々のデバイスが経験する現実世界のデータ」に移行したことを示しているからです。GPT-4oのようなマルチモーダルモデルが登場し、リアルタイムの視覚理解は可能になりました。しかし、それらを数週間、数ヶ月といったスパンで「記憶」として定着させ、再利用する仕組みはまだ確立されていません。Memories AIはこのミッシングリンクを埋める存在になると私は確信しています。

技術的に何が新しいのか

従来の技術とMemories AIが提唱するLVMMの最大の違いは、映像を「フレームの集合」ではなく「意味の連続体」として扱っている点にあります。これまでのアプローチでは、ビデオを1秒間に数フレーム抽出し、それをCLIPのようなモデルでベクトル化してベクトルデータベース（PineconeやMilvusなど）に保存するのが一般的でした。

しかし、この方法には「時間的な文脈」が欠落するという致命的な欠点があります。例えば「料理をしているシーン」と「料理を片付けているシーン」は、映っている物体（皿や食材）が似ているため、単純なベクトル検索では混同されやすいのです。Memories AIのモデルは、映像の各シーンにおける「動作の因果関係」や「オブジェクトの状態変化」を保持したままインデックス化する点に独自性があります。

技術的な構成としては、以下のような3層構造になっていると推測されます。

1. リアルタイム・ストリーミング・エンコーダ：デバイス側で映像を軽量な特徴量（埋め込み）に変換。
2. セマンティック・インデクサー：特徴量を時系列の文脈に基づいて構造化し、長期記憶として保存。
3. リトリーバル・トランスフォーマー：自然言語のクエリを理解し、メモリ内から最適な映像セグメントを数ミリ秒で抽出。

私が自宅のサーバー（RTX 4090 2枚挿し）でローカルLLMを使ってビデオ解析を試した際、最も苦労したのはVRAMの消費量と検索のレイテンシでした。数時間の動画をすべてコンテキストウィンドウに放り込むことは不可能です。Memories AIは、この「情報の圧縮」と「高速な検索」のバランスにおいて、従来のRAG（検索拡張生成）を一歩進めた「Vision-RAG」と呼ぶべき手法を確立しています。

また、APIドキュメントの公開が待たれるところですが、彼らのアプローチは「デバイス上での処理」を重視している節があります。プライバシーの観点から、生の映像をクラウドに送るのではなく、特徴量だけを同期する、あるいはローカルで完結させるエッジAIとの親和性が非常に高い設計です。これは、私が常に基準としている「仕事で使えるか」という観点において、エンタープライズ用途やパーソナルアシスタントを構築する上で不可欠な要素です。

数字で見る競合比較

この表から分かる通り、Memories AIは「処理」ではなく「蓄積と検索」に特化しています。GPT-4oやGemini 1.5 Proは、今目の前にある映像を理解する能力には長けていますが、それを「昨日のこと」として覚えているわけではありません。Geminiの200万トークンという広大なコンテキストウィンドウは驚異的ですが、それでも数ヶ月分の生活ログを全て入れるには足りませんし、何より1回の推論コストが数ドル単位でかかってしまいます。

Memories AIの優位性は、この「推論コストの分離」にあります。常時録画の全てをLLMに読み込ませるのではなく、軽量なモデルでインデックスを作成しておき、必要な時だけ重いLLMで処理する。この実務的な切り分けが、月額数ドルのウェアラブルデバイス向けサービスを実現する鍵になります。

開発者が今すぐやるべきこと

このニュースを聞いて、単に「すごい技術だ」で終わらせてはいけません。開発者として今すぐ取るべきアクションは3つあります。

第一に、ビデオデータの「ベクトル化パイプライン」のプロトタイプを作成することです。Memories AIのAPIが一般公開されるのを待つ間に、自前でCLIPやVideoMAEなどのモデルを使って、短い動画をベクトルDB（例えばQdrantやWeaviate）に保存し、検索する仕組みを構築してみてください。これにより、視覚メモリを扱う際の「検索精度の壁」や「データの肥大化」という実務上の課題を肌で感じることができます。

第二に、プライバシーファーストのデータ設計を見直すことです。視覚メモリは究極の個人情報です。ユーザーが「何を見たか」をAIに記憶させる際、どのような暗号化を行い、どの範囲までをプロバイダーに預けるのか。Memories AIがどのようなセキュリティプロトコルを採用するかを注視しつつ、自社のサービスでも「記憶の削除権」や「特定の物体（顔など）のマスク」を自動で行うロジックを検討しておくべきです。

第三に、マルチモーダルモデルの出力を「メモリへの書き込み指令」として使う実験を行うことです。例えば、LangChainなどを使って、「重要なイベントがあった時だけ視覚メモリにタグを付けて保存する」というエージェントを組んでみてください。Memories AIが登場した時、そのインデックス層をそのままバックエンドとして差し替えられるような疎結合な設計にしておくことが、スタートダッシュを決めるポイントになります。

私の見解

私はMemories AIのこのアプローチに、非常に強い期待を寄せています。率直に言って、今のAIエージェントが「賢いけれど使い物にならない」のは、彼らが「共有された過去」を持っていないからです。友人と会話をする時、私たちは過去の共通体験をベースに話をしますが、今のAIは毎回「はじめまして」に近い状態で接してきます。

もちろん、プライバシーの懸念は拭えません。常にカメラで記録され、それがインデックス化される生活は、一歩間違えればディストピアです。しかし、そこには明確なトレードオフがあります。例えば、認知症の高齢者が「さっき飲んだ薬の場所」をAIに聞けるようになる、あるいは現場のエンジニアが「昨日の作業手順のミス」をロボットの視点から即座に特定できるようになる。この利便性は、監視のリスクを上回る可能性があると私は考えています。

懸念点としては、Memories AIがどこまで「オープン」であるかです。もし彼らが特定のハードウェア（例えば独自のグラス）にこの機能を閉じ込めてしまったら、それはエコシステムの衰退を招きます。逆に、Apple Vision ProやMeta Quest、あるいはUnitreeのロボット犬などに共通の「メモリAPI」として提供されるのであれば、それはAI界のインフラになるでしょう。

予測ですが、3ヶ月後にはMemories AIのベータ版APIを使用した「忘れ物防止アプリ」や「熟練工の視線を学習する産業用ロボット」のデモがX（旧Twitter）を埋め尽くしているはずです。そして半年以内には、大手ウェアラブルメーカーの買収合戦が始まっているでしょう。

よくある質問

Q1: 常に動画を録画してAIに送ると、通信量やバッテリー消費が凄まじいことになりませんか？

Memories AIは生の動画をすべてクラウドに送るのではなく、デバイス側で軽量な特徴量に変換してから同期する仕組みを想定しています。これにより、通信量を数十分の一に削減しつつ、バッテリーへの負荷も最小限に抑える設計になっているはずです。

Q2: OpenAIのGPT-4oでも同じようなことはできるのではないですか？

GPT-4oは「目」を持っていますが、「脳内の長期保存ストレージ」は持っていません。数週間前の映像を検索するには、外部のデータベース（メモリレイヤー）が必要です。Memories AIはそのストレージと検索機能に特化しており、GPT-4oなどのLLMと組み合わせて使う「補完的な技術」です。

Q3: 自分のプライバシーが心配です。録画されたデータは誰が見るのですか？

Memories AIは、エンドツーエンドの暗号化やデバイス内処理を重視しています。基本的にはユーザー本人（または許可されたAIエージェント）しかアクセスできない設計が求められます。開発者としては、データの所有権がユーザーにあることを技術的に保証する仕組みを注視する必要があります。