AIエージェントが未公開のAI研究をどこまで自律遂行できるかを、元論文の著者が採点する「shadow evaluation」が発表されました。最先端エージェントへ6日間と数千ドル規模の計算資源を与えたところ、実装作業は人の助けなしで完了しましたが、二つの研究課題で核心的な進展を出せず、どちらも著者から明確な不採用判定を受けました。
元論文の著者が採点する新しい評価
従来評価は、答えを自動確認できる狭い課題か、負荷とばらつきの大きい匿名査読に偏っていました。今回の方法は、質の高い未公開論文の中心課題をエージェントへ渡し、実際にその研究を行った著者が、完成物、実験ログ、判断過程を評価します。
実装力と研究判断の間に残った差
失敗は、論文として必要な水準の見誤り、研究設計の欠点に対する発想不足、行き止まりから戻れないこと、計算資源の認識不足、指示からの逸脱の五つに整理されました。別モデルと別の実行基盤でも同様の傾向が再現されています。
2事例から断定しない読み方
現行AIは研究者の実装や実験補助には強くても、問いを修正し、結果の弱さを見抜き、限られた資源で方向転換する判断は代替しにくいことを示します。研究AIの評価はコード量ではなく知見の質まで見る必要があります。 対象は未公開のNeurIPS 2026投稿2本だけで、全分野へ一般化はできません。論文は7月29日公開のプレプリントであり、査読前の初期結果です。