研究チームは8月4日、患者向けLLMが症状相談の各段階で『追加情報を聞く』『通常受診』『緊急受診』など、今取るべき行動を適切に選べるかを測るCARE-Benchを公開しました。500症例、1,059の会話途中状態を構成し、11モデルを評価したところ、簡単な指示で成績は改善したものの、追加質問が必要な場面でその段階を維持できた回答は33.5%でした。医療AIは最終結論の正しさだけでなく、情報が足りない時点で断定せず、適切に聞き返せるかを検証する必要があります。
500症例を会話途中の1,059状態へ分解
評価は、患者が情報を少しずつ開示する会話を使い、各時点の行動を4種類に分類しました。何も追加指示しない条件のmacro-F1は31.2〜50.4、最小限の指示を加えた条件でも46.9〜63.4でした。11モデル中10モデルは改善しましたが、受診を勧めるタイミングの誤りは残りました。
追加質問を維持できた回答は33.5%
モデルは必要な確認を飛ばして早く受診判断を出す傾向がありました。安全側に見えても、不必要な緊急受診や重要な症状の聞き漏らしにつながり得ます。診断名の正答率だけではこの問題を捉えられません。会話途中ごとに『今は何をする段階か』を評価する設計が重要です。
最終回答より判断する順序を評価
患者向けチャットを導入する医療機関やサービスは、追加質問、緊急性判定、人への引き継ぎを別々に試験し、判断根拠と会話履歴を監査できるようにすべきです。プロンプト改善だけでなく、明示的なルールと医療者の監督が必要です。 公開直後のプレプリントであり、269の保留評価ラウンドと特定の4分類に基づく結果です。医療行為での有効性や安全性を直接証明するものではなく、利用者が自己判断へ使うべきものでもありません。