AIの内部状態を文章で説明できても、その説明が本当に内部情報を読んだ結果とは限りません。新研究RECAPは、説明に必要な情報をモデル内部から読み出せるよう学習時に補助信号を加えます。説明の自然さや再構成精度だけでなく、個々の主張が内部状態に根拠を持つかを検証する方向です。
説明文が正しく見えても残る問題
7月22日投稿の論文は、自然言語による活性化説明が高い再構成性能を示しても、説明文中の特定主張が誤っている場合を実験で示しました。検証例では、説明生成器の主張のうち再構成に必要だったものが約2%にとどまる条件がありました。
RECAPが学習時に加えるもの
RECAPは、指定した内容が補助的な線形ヘッドから読めるようモデルを共同学習します。敵対的な虚偽を見分ける独立プローブのAUCは0.95、対照条件は0.51と報告され、モデル自体へ検査可能性を持たせる考え方です。
AI監査で変わる確認方法
安全監査では、読みやすい説明をそのまま証拠にせず、反実仮想テストや独立プローブで主張単位の根拠を確かめる必要があります。 限定的な実験環境の査読前プレプリントであり、実用モデル全般への有効性は未確定です。追加計算や性能影響、別モデルでの再現確認が必要です。