生成AIが嘘をつく「幻覚症状」問題、最新のベンチマークテストで明らかになった最も正確なAIモデルとは？

生成AIの活用において企業が直面する課題の一つは、AIの「幻覚症状」です。これは、AIが事実でない情報を事実であるかのように提示する特性を指し、オープンソースやクローズドソースを問わず、すべての生成AIモデルに共通する問題です。

例えば、2022年11月にリリースされたChatGPT（GPT-3.5モデル）では、多くの幻覚症状が報告されました。同様に、リリース当初のGoogle Bardも幻覚症状が頻発し、メディアでの指摘も多かったです。

しかし、2023年12月現在、AI開発企業はこの問題の抑制に向けて取り組んでおり、1年前と比べて大幅な改善が見られます。

OpenAIの競合であるAnthropicは、2023年11月21日に「Claude2.1」という最新モデルを発表しました。このモデルは、前モデルのClaude2.0と比較して、正確性が2倍に向上し、AIが「嘘をつく」確率を半減させたと報告されています。

生成AIモデルは一般に、ユーザーの質問に対して知識がない場合でも、何かしらの情報を出力することを優先しますが、これが幻覚症状の原因の一つです。Claude2.1では、AIが質問に対する答えを持っていない場合に「分かりません」と回答する機能が追加され、これが回答の正確性を高める要因となっています。

シリコンバレーAI企業が調査、幻覚症状指数でみる生成AIモデルの正確性

企業が生成AIを導入する際、高い正確性を持つAIモデルの選定が重要です。

最近、各AIモデルの正確性（特に幻覚症状の少なさ）を比較した総合的なベンチマークレポートがいくつか公開されており、これらは正確性とコストのバランスを判断する際の重要な参考資料となっています。

これらのレポートの中でも特に注目されるのが、シリコンバレーのAI企業Galileoが2023年11月15日に発表した「LLM Hallucination Index（大規模言語モデル幻覚症状指数）」です。この指数は、主要な大規模言語モデルがどれだけ正確な情報を生成するかを数値化したもので、OpenAIのクローズドソースモデルやメタのLlama2などのオープンソースモデルも含まれています。

このベンチマークレポートでは、AIモデルの正確性を3つの異なる方法で評価しています。1つ目は、外部情報を与えずにAIモデルだけで回答を生成させる方法、2つ目は外部情報を与えて回答を生成させる方法、そして3つ目は長文回答を生成させる方法です。

結果として、これらの方法で最も高い正確性を示したのはOpenAIの「GPT-4-0613」モデルでした。このモデルは2023年6月13日にリリースされたGPT-4のバージョンで、現在市場で最も優れているとされています。このベンチマークではその優位性が証明されました。

しかし、GPT-4が最高性能を誇る一方で、一部のオープンソースモデルもGPT-4に匹敵するパフォーマンスを示しました。特に長文生成タスクでは、オープンソースモデルが顕著な成果を示しています。

長文生成では、AIモデルの正確性を「Correctness Score（正確性スコア）」で測定しました。このスコアで最高を記録したのは、0.83のGPT-4-0613モデルで、これに僅差でメタのオープンソースモデル「Llama2-70b-chat」が0.82で続きました。

スコア順にトップ10を見ると、

1. GPT－4－0613（スコア＝0.83）
2. Llama2－70b－chat（0.82）
3. GPT－3.5－turbo-1106（0.82）
4. GPT－3.5－turbo-0613（0.81）
5. Llama2－13b－chat（0.79）
6. Zephyr－7b－beta（0.74）
7. GPT－3.5－instruct（0.74）
8. Llama2－7b－chat（0.72）
9. Falcon-40b-instruct（0.70）
10. Mistral－7b－instruct－v0.1（0.65）

となっています。

この調査により、OpenAIのGPTモデルが全体的に高いパフォーマンスを示す一方で、長文生成や外部情報を与えた場合には、GPTモデルとオープンソースモデルの差が縮まる傾向が見られました。これは、オープンソースモデルが特定の用途においては十分な選択肢となり得ることを示唆しています。

Vectaraも生成AIモデルの幻覚症状率を調査、最も正確なAIモデルを特定

生成AIの活用において、企業は高い精度を持つAIモデルを求めています。市場にはOpenAIのGPTモデルの他にも、AnthropicのClaude、Cohereのモデル、Google Bardなど多様なモデルが存在し、これらの正確性の分析が必要です。

このニーズに応え、シリコンバレーのAI企業Vectaraが2023年11月に「Hallucination Leaderboard（幻覚症状リーダーボード）」を発表しました。このリーダーボードは、Galileoのベンチマークレポートを補完するもので、「Accuracy（正確性）」と「Hallucination Rate（幻覚症状率）」を基に各AIモデルの性能を評価しています。最新の更新は2023年11月29日に行われました。

このリーダーボードで最も高い正確性を示したのは、GPT-4で、97%の正確性（幻覚症状率3%）を達成しました。同じく97%の正確性を記録したのは、2023年11月にリリースされたGPT-4 Turboです。

続いてGPT-3.5 Turboが96.5%、メタのLlama2 70bが94.9%、Llama2 7bが94.4%、Llama2 13bが94.1%、CohereのCohere Chatモデルが92.5%、Cohereモデルが91.5%、AnthropicのClaude2が91.5%、Google Palm2（beta）が91.4%、Mistral 7bが90.6%、Google Palm2 Chat（beta）が90%と続きます。

特に注目すべきは、Anthropic、Cohere、Googleのモデルの正確性に関するパフォーマンスが明らかになった点です。CohereのCohere Chatモデルは正確性92.5%（幻覚症状率7.5%）を記録し、改善の余地が見られます。

AnthropicのClaude2は正確性91.5%（幻覚症状率8.5%）で、競合するGPT-4やGPT-3.5には及ばないものの、最新モデルClaude2.1の発表により、幻覚症状率が半減し、正確性が向上する可能性があります。

Google Palm2はリリース当初から幻覚症状問題が指摘されており、リーダーボードでも苦戦が続いています。

さらに、OpenAIがGPT-5の開発を進め、Microsoftが独自の大規模言語モデルOrca2を発表するなど、今後も新たなAIモデルがベンチマークテストやリーダーボードに登場する見込みです。

チャットGPTさんに聞いてみた

編集後記