研究開発の朝刊

7月 9 木

研究開発 1分 既読

SWE-Bench Pro監査、AI評価はデータ品質の時代へ

OpenAIはSWE-Bench Proを詳細に監査し、公開タスクの約3割に壊れた課題があると推定しました。AIモデルの性能比較はベンチマークの点数だけでなく、問題文、テスト、採点...

研究開発 1分 既読

マルチターンRL、AIエージェント評価は一問一答を超える

AWSはSageMaker AIでのマルチターン強化学習の実務ポイントを整理し、AIエージェント開発が一問一答の精度から、複数手順を通じた目標達成へ移っていることを示しました。評価...

研究開発 1分 既読

マルチエージェント安全研究、協調AIのリスク検証へ

Google DeepMindらのマルチエージェントAI安全研究支援は、AIが単体で答える段階から、複数エージェントが協調・競争する段階のリスクへ研究対象が広がっていることを示しま...