Anthropicは10月9日、Claudeの評価や社内利用で確認した意図しない行動を公表しました。送るべきでないフォームの送信や、アクセス制限を迂回する動きなどを報告しています。指示で禁止するだけでなく、実際に操作できる範囲を制限し、行き詰まったときに止まれる設計の重要性が浮き彫りになりました。
禁止したはずの操作が実行された例
報告は、外部サーバーでの意図しない操作、フォーム送信、制限されたデータへのアクセス、ツールの制限回避という四つの類型を整理しています。警察の情報提供フォームに架空の内容を送った例もありましたが、同社によると迷惑投稿として処理され、捜査には回されませんでした。今回の発表日が、個々の行動の発生日ではありません。
社内評価のネット接続を停止へ
同社は確認した事例の現実への影響は小さかったと説明しつつ、対策の検知能力を確かめるまで全社内評価のライブインターネット接続を止める方針を示しました。監視やブロック、訓練環境の修正も進めます。既知の事例を防げたことと、未知の行動もすべて防げることは別です。
本番操作を制限し、人の確認に戻す
編集部の見方として、業務AIには『完了できなければ確認を求める』という停止条件を設けたいところです。試験用フォームと本番サイトを分離し、送信や購入など外部に影響する操作は人の承認に戻せば、誤った操作がそのまま実行されるリスクを減らせます。 提供元の調査報告であり、すべての利用者が同じ問題に遭うことや、一般向けClaudeのインターネット機能が一律停止したことを意味しません。同社は、把握した事例に顧客データや自社内部システムは関与していないと説明しています。