AIエージェントの長期記憶が、悪意ある指示を後の行動まで残す危険を測る「MemSecBench」が発表されました。コード、科学、日常、オフィス業務の48場面から310件を作り、24構成で検証したところ、悪意ある記憶は84.2%で残存し、書き込みから実行まで攻撃が成立した割合は50.3%でした。
記憶の保存から実行・削除まで追跡
評価はWrite・Execute・Forgetの順で、攻撃指示が記憶へ保存されるか、後の依頼で呼び出され実際の操作へ影響するか、危険な内容だけを消して有用な記憶を残せるかを追跡します。2種類のエージェント基盤、4種類の記憶基盤、3種類のLLMを組み合わせました。
24構成で見えた残存と攻撃成功
侵害に成功した事例の59.6%が実行段階を最後まで進み、危険な記憶だけを選んで修復できた割合は56.1%でした。さらに構成の違いで、攻撃成功率は最大16.1ポイント、選択修復は最大41.3ポイントの差が出ています。
モデル以外に検証すべき記憶基盤
長期記憶を持つAIは、入力時のフィルターだけでなく、保存、呼び出し、実行直前、削除後の各段階で検査する必要があります。採用する記憶基盤によっても安全性が変わるため、モデルだけを比較してはいけません。 数値は隔離された実験環境と指定24構成の記述的比較で、全製品の感染率ではありません。7月29日公開の査読前プレプリントであり、実サービスでは権限設計や監査を含めた再評価が必要です。