研究者たちは、より賢いチャットボットの明らかな欠点を発見しました。AIモデルは進化するにつれて正確性が向上する一方で、「分からない」と言う代わりに、その能力を超えた質問に誤って答える可能性が高くなります。これにより、確信を持った誤情報が広がることになります。研究チームはOpenAIのGPTシリーズ、MetaのLLaMA、オープンソースのBLOOMを含む3つの大規模言語モデルを対象に、算数や地理、科学に関する質問を行い、その性能を評価しました。結果、モデルが進化するにつれて、全体の誤答率が上昇することがわかりました。また、チャットボットの回答の正確性を評価したボランティアらも、誤った回答を正しいと誤分類することが多く、これは人間がこれらのモデルを適切に監視できないことを示しています。研究者たちは、AI開発者に対して簡単な質問に対する性能を向上させ、複雑な質問には答えないようプログラムすることを推奨しています。しかし、AI企業は「分からない」と答えるチャットボットを提供することを避ける可能性が高く、ユーザーは自分自身や他人を傷つける可能性のある誤情報を信じたり広めたりしてしまうリスクがあります。正確性を保つためには、自分自身でチャットボットの回答を確認することが重要です。
