ハルシネーション（LLMにおいて）

大規模言語モデル（LLM）の文脈では、ハルシネーションとは、モデルが自信に満ち、もっともらしいように聞こえるテキストを生成するものの、事実として不正確であったり、意味不明であったり、提供されたソースデータに基づかない現象を指します。高度なテキスト生成のために設計されたこれらのモデルは、事実、ソース、または詳細を捏造し、それらを真実であるかのように提示することがあります。これは、LLMの主な目的が、一貫性のある文章を形成するためにシーケンス内の次の単語を予測することであり、生成する情報の真実性を検証することではないために発生します。生成AIをより信頼性の高いものにするには、ハルシネーションを理解し、軽減することが中心的な課題です。

なぜLLMはハルシネーションを起こすのか？

ハルシネーションは意図的な欺瞞ではなく、LLMがどのように構築され、トレーニングされるかの副産物です。主な原因は次のとおりです。

• トレーニングデータの不完全性： GPT-3やGPT-4のようなモデルは、インターネット上の膨大な量のテキストから学習しますが、それには必然的にエラー、古い情報、アルゴリズムバイアスが含まれています。モデルは、真実の本質的な理解なしに、トレーニングデータからこれらのパターンを学習します。
• アーキテクチャ設計: 基盤となるTransformerアーキテクチャは、事実の想起や論理的推論ではなく、パターンマッチングと言語モデリングに最適化されています。これにより、一部の研究者が「確率的オウム」と呼ぶ、意味を理解せずに言語を模倣できるエンティティにつながる可能性があります。
• 推論時の曖昧さ：生成中に、モデルが次に最適なトークンについて確信がない場合、もっともらしいが捏造された情報で「ギャップを埋める」可能性があります。温度のような推論パラメータを調整すると、これを軽減できる場合がありますが、依然として中心的な課題です。技術的な概要については、arXivからのLLMハルシネーションに関するこの調査を参照してください。

ハルシネーションの現実世界の例

• 法務調査: ある弁護士が、訴訟調査のためにAIアシスタントを使用して、法的先例を見つけるように依頼しました。チャットボットは、完全に捏造されたいくつかの裁判事例（事例名や法的分析を含む）を引用しました。これらはもっともらしいものの、存在しませんでした。この実際のインシデントは、厳格な事実確認なしに、リスクの高い分野にLLMを導入することの重大なリスクを浮き彫りにしました。
• 製品レコメンデーション: ユーザーがチャットボットに「ソーラーパネル内蔵の最高のハイキング用バックパック」を尋ねます。LLMは、特定のモデルを自信を持って推奨し、その機能を詳細に説明するかもしれませんが、その特定の製品または機能の組み合わせが存在しない場合でも、モデルはトレーニングデータから概念を組み合わせて、もっともらしいが架空の製品を作成します。

ハルシネーションを軽減する方法

研究者と開発者は、いくつかの軽減戦略に積極的に取り組んでいます。

• 検索拡張生成（RAG）: この手法は、LLMに、回答を生成する前に、外部の信頼できる知識ベース（ベクトルデータベースなど）から情報を取得する機能を提供します。RAGは、検証可能な事実にモデルを基づかせることで、捏造を大幅に削減します。RAGの仕組みの詳細については、IBM Researchをご覧ください。
• より良いプロンプト技術: Chain-of-Thoughtプロンプトのような手法は、モデルにその推論を段階的に分解することを促し、より正確な出力につながる可能性があります。Chain-of-Thoughtに関する元の研究論文は、その有効性を示しています。
• 人間のフィードバックによる強化学習（RLHF）: モデルはRLHFを使用して改良され、人間のレビュー担当者がさまざまなモデルの応答を評価します。このフィードバックにより、モデルは真実で役立つ回答を優先するように学習します。このプロセスは、OpenAIやAnthropicなどの組織によって詳しく説明されています。
• ファクトチェックおよび検証レイヤー: LLMによって行われた主張を、出力をユーザーに提示する前に、信頼できるソースと照合するための別のプロセスを実装します。これにより、責任あるAI開発のレイヤーが追加されます。
• 高品質なデータセットとファインチューニング: トレーニングに使用するデータの品質を継続的に改善し、特定の高品質なデータセットでファインチューニングを実行することで、Foundation Modelを事実の正確さと一致させることができます。

ハルシネーション vs. その他のAIエラー

• AIにおけるバイアス： AIにおけるバイアスとは、モデルの出力が特定のグループを不当に優遇する体系的なエラーを指し、通常は社会的なバイアスやデータセットのバイアスを反映しています。ハルシネーションは、必ずしも偏見ではなく、事実の誤りに関するものです。どちらもAI倫理における深刻な懸念事項です。
• コンピュータビジョンのエラー: ハルシネーションの概念は、主に自然言語処理（NLP）に関連付けられています。コンピュータビジョン（CV）では、エラーは通常、Ultralytics YOLOのようなモデルが物体検出で誤りを犯す（例えば、猫を犬と誤って分類する）か、物体を検出できないことを意味し、これはその精度に関連します。これは知覚のエラーであり、情報の捏造ではありません。ただし、視覚と言語を融合するマルチモーダルモデルがより一般的になるにつれて、画像の間違った説明を「ハルシネーション」することもできます。両方のタイプのモデルの管理は、Ultralytics HUBのようなプラットフォームで効率化できます。