AppleのAI研究チームは、大規模言語モデルの推論能力に大きな弱点があることを示した研究を発表しました。この研究では、OpenAIやMetaなどの主要な言語モデルの性能を評価し、数学的推論タスクへの対応力を検証しました。結果として、質問の表現を少し変えるだけでモデルの性能に大きな差が生じることが分かりました。これは、論理的一貫性が求められるシナリオでの信頼性を損なう可能性があります。
研究によると、言語モデルは本物の論理推論ではなく、パターンマッチングに依存しており、無関係な情報が質問に追加されることで、数学的な結果に大きな影響を与えることが示されています。たとえば、キウイの収集数を問う単純な数学問題において、詳細な情報を追加すると、モデルが不適切に最終結果を調整することが見られました。
研究者たちは、モデルが実際の論理を用いて問題を解決するのではなく、洗練されたパターン認識に基づいていることを結論づけました。彼らは名前を変えるだけで結果が変わることを発見し、これは今後のAI応用にとって懸念材料となる可能性があります。調査した全てのモデルは、入力データの些細な変化に対して著しい性能低下を示しました。Appleは、より正確な意思決定と問題解決能力を得るためには、神経ネットワークと従来のシンボルベースの推論を組み合わせる「神経シンボリックAI」が必要であると提案しています。
