Microsoft Researchは日本時間10月13日午前1時、学習者の反応を模擬してAI家庭教師を評価する「StudentSim」の研究を紹介しました。説明が正しいかだけでなく、相手がどう答えを変えるかを見ます。教えるAIの改善に役立つ可能性がありますが、実際の生徒での検証を置き換えるものではありません。
学習記録から一人ごとの模擬モデルへ
研究では、公開されている個人を特定できない学習記録から、学習者ごとの模擬モデルを作ります。まず複数の学習者の記録で共通の傾向を学び、その後、一人分の記録に合わせます。論文自体は9月の研究で、今回新しく公開されたのは公式ブログによる詳しい紹介です。
答えの再現と助言への反応を分けて評価
評価するのは、その学習者らしい答えを再現できるかと、助言を受けて答えを変えられるかの二点です。チェス、英語作文、数学で調べました。AIに単に生徒役を演じさせると、実際の生徒より賢く答えてしまい、教え方が有効だったように見える問題があります。
模擬評価から実際の学習者での検証へ
編集部の見方として、教材やAI家庭教師を作る際、説明文の見栄えだけでは学習効果を判断できません。つまずき方が異なる相手への助言を、開発中に試す仕組みは改善の手掛かりになります。ただし、模擬した反応と現実の学習成果は別で、実際の利用者による確認へつなげることが重要です。 StudentSimは研究用で、教室に導入済みの製品でも、教師を代替するサービスでもありません。対象の三分野を超えた効果や長期の学習効果は、この発表だけでは判断できません。安全性、使いやすさ、実際に学べたかは、人を対象とした研究で確かめる必要があります。