研究チームは8月4日、AIエージェントが過去の作業から作った技能を再利用し、本当に能力を伸ばせるかを測るContinualSkillBenchを公開しました。5分野それぞれ100個の関連タスクを難しい順に解かせたところ、順番に経験することで成績は概ね上がりました。しかし、技能ライブラリを明示的に保存した場合と、直前の文脈やフィードバックを残しただけの場合の平均差は小さく、改善の多くが再利用可能な技能の獲得とは限らないと示されました。『学習した』という表示だけでは能力向上を判断できません。
5分野500タスクで継続的な技能獲得を測定
ベンチマークは、表計算や作業手順などを含む5分野に100件ずつの相互に関連するサブタスクを用意し、後の課題で以前の手順を再利用できる構造にしました。逐次実行は多くの条件で成績を改善しましたが、モデルと分野による差が大きく、明示的な技能保存が常に優位ではありませんでした。
文脈適応と再利用技能を切り分ける
性能の低いモデルほど、用途が細かく分かれた技能を大量に蓄積する傾向も確認されました。保存件数が多いことは、汎用的な技能へ整理できた証拠ではありません。一方、正確な形式や繰り返し手順が必要な課題では、明示的な技能が選択的に役立ちました。評価には初見タスクへの転移が必要です。
技能の数より初見課題への転移を見る
長期運用する業務AIでは、成功履歴の保存数ではなく、別の案件でも再利用できたか、古い技能が誤作動しないか、不要な技能を統合・削除できるかをKPIにすべきです。技能ライブラリの品質管理が製品差になります。 論文は公開直後のプレプリントで、5分野のベンチマーク結果です。すべてのエージェント製品や実業務で同じ傾向になるとは限らず、追試とコード公開状況の確認が必要です。