ハルシネーション（LLMにおいて）

人工知能 (AI)の分野において、ハルシネーションとは、 大規模言語モデル (LLM)が、自信に満ちて文法的に正しいものの、事実と異なったり、無意味であったり、元の入力に忠実でなかったりするコンテンツを生成する現象を指します。クラッシュや目に見えるグリッチを引き起こす可能性のある標準的なソフトウェアエラーとは異なり、ハルシネーションを起こしているモデルは、説得力のある捏造者のように振る舞い、誤った情報を有効な事実と同じ権威をもって提示します。これは、データ整合性が最重要視される医療、法律、金融などの機密性の高い分野で 生成AIを導入する組織にとって、重大な課題となります。

なぜハルシネーションが発生するのか？

モデルが幻覚を起こす理由を理解するには、それらがどのように構築されているかを見ると役立ちます。LLMは通常、洗練された予測エンジンとして機能するTransformerアーキテクチャに基づいています。検証済みの事実の構造化されたデータベースをクエリする代わりに、モデルはトレーニングデータから導き出された統計的確率に基づいて、シーケンス内の次のトークンを予測します。

この挙動を促進するいくつかの要因があります。

• 確率的推測: モデルは、事実の真実よりも流暢さと一貫性を優先します。特定の単語のシーケンスが統計的に確率が高い場合、たとえ事実と異なっていても、モデルはそれを生成する可能性があります。この概念は、モデルが意味を理解せずに言語パターンを模倣する確率的オウムに関する研究でしばしば議論されます。
• データ品質の問題: トレーニングに使用される膨大なテキストコーパスに矛盾、古い情報、またはフィクションが含まれている場合、モデルはこれらの不正確さを再現する可能性があります。
• Source Amnesia: LLM（大規模言語モデル）は、膨大な量の情報をモデルウェイトに圧縮します。この過程で、特定のソースへのリンクが失われることが多く、「作話」と呼ばれる、異なる概念やイベントが誤って結合される現象につながります。

ハルシネーションの現実世界の例

ハルシネーションは、無害な創造的装飾から深刻な事実誤認まで、さまざまな形で現れる可能性があります。

• 法的捏造: 法務専門家がAIを使用して準備書面を作成した際に、モデルが議論を裏付けるために存在しない判例や引用を捏造していた事例が記録されています。
• コード生成: AIアシスタントを使用する開発者は、「パッケージの幻覚」に遭遇する可能性があります。これは、モデルが実際には存在しないソフトウェアライブラリのインポートや関数の呼び出しを提案する現象で、単に名前が標準的な命名規則に従っているためです。
• 経歴に関する誤り: あまり有名でない個人について尋ねられた場合、モデルは誤った業績、出生地、または職歴を自信を持ってそれらに帰属させ、複数の人物の詳細を効果的に混ぜ合わせてしまうことがあります。

軽減戦略

ハルシネーションの頻度を減らすことは、AI安全性の主要な焦点です。エンジニアと研究者は、モデルを現実に根付かせるためにいくつかの手法を採用しています。

• 検索拡張生成 (RAG): この方法は、LLMを外部の信頼できる知識ベースに接続します。多くの場合、その知識ベースはベクトルデータベースにインデックス化されています。回答を生成する前に、関連するドキュメントを検索することで、モデルは実際のデータによって制約されます。
• Chain-of-Thoughtプロンプティング: このプロンプトエンジニアリング技術は、複雑な推論を中間ステップに分解することで、モデルに「思考プロセスを示す」ことを促し、論理エラーを減らすことによくつながります。
• 人間からのフィードバックによる強化学習（RLHF）:ファインチューニングの段階で、人間の評価者がモデルの応答をランク付けします。幻覚にペナルティを与え、真実性を報酬とすることで、モデルは人間の期待によりよく合致するように学習します。

LLMにコンピュータ・ビジョンを導入

マルチモーダルAIシステムでは、テキスト生成は視覚データに基づいて行われます。LLMがシーンを記述するよう求められた場合、存在しないオブジェクトを幻覚する可能性があります。YOLO26のような高精度な物体検出器を統合することで、開発者はLLMに存在するオブジェクトの事実に基づいたリストを提供し、その出力を検証済みのdetectionsに厳密に制限できます。

以下のpythonの例は、 ultralytics 検証済みのオブジェクトリストを抽出するためのパッケージ。これはその後、言語モデルのプロンプトにとって事実上の制約として機能しうるものです。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

関連概念の区別

ハルシネーションと他の一般的なAIエラーを区別することが重要です。

• Vs. Bias in AI: バイアスとは、出力における体系的な偏見（例：ある人口統計を別の人口統計よりも優遇する）を指します。一方、ハルシネーションは事実の正確性の失敗です。応答はバイアスがないにもかかわらずハルシネーションを起こすことがあります（例：「月はチーズでできている」）。
• Vs. 過学習: 過学習は、モデルが訓練データを過度に記憶し、新しい入力に一般化できない場合に発生します。ハルシネーションは、モデルがデータが不足している領域に過度に一般化しようとするときによく発生します。
• Vs. 誤分類: object detectionにおいて、車をトラックとしてラベリングすることは、分類エラー (精度に関する問題) であり、ハルシネーションではありません。ハルシネーションは、偽のコンテンツの生成に特有のものです。

下流のエラーを防ぐために、高いデータ整合性をもってデータセットを管理し、モデルを学習させたい方には、Ultralytics Platformがアノテーションとデータセット管理のための包括的なツールを提供します。さらに、NIST AIリスク管理フレームワークからのガイダンスは、プロダクション環境におけるこれらのリスクを評価し、軽減するための標準を提供します。