ハルシネーション（LLMにおいて）

という文脈では 大規模言語モデル(LLM)幻覚は、生成モデルが、自信に満ち、構文的には流暢だが、事実的には不正確で、原文に忠実でないコンテンツを生成するときに起こる。 を生成するときに発生する。標準的なデータベース検索エラーとは異なる、 における幻覚は 生成AIは もっともらしく聞こえることが多いため、ユーザーが独自の検証なしにdetect するのは難しい。この現象は この現象は、これらのモデルの基本的な設計に起因している。 テキスト生成に基づく この現象は、これらのモデルの基本的な設計に起因している。幻覚を理解することは、安全なAI システム、特に医療、金融、法律サービスのようなリスクの高い業界において重要である。

LLMはなぜ幻覚を見るのか

幻覚の主な原因は次のようなものである。 トランスフォーマーアーキテクチャと 基礎モデルを構築するために使用されるトレーニング目標にある。これらのシステムは、次の トークンを予測するように訓練される。 膨大な量の 学習データ.事実」や「虚構」という固有の概念を持たず、むしろ、単語が一緒に現れる可能性をモデル化する。 単語が一緒に現れる可能性をモデル化する。

この行動にはいくつかの要因がある：

• データの制限：学習コーパスに矛盾した情報、古い情報、間違った情報が含まれている場合、 モデルはこれらのエラーを再現する可能性がある。これは、以下のような研究でよく議論される。 確率的オウム返しモデルが意味を理解せずに言語形態を模倣する。
• 圧縮の成果物：LLMは、インターネットの知識を固定されたパラメータのセットに圧縮する。 この圧縮の際、ニュアンスが失われ、異なる概念が混同されることがある。
• 推論の曖昧さ：モデルがその知識分布外のプロンプトに直面したとき、無知を認めるのではなく、統計的に最も可能性の高い応答を生成することをデフォルトにすることがある。 をデフォルトにすることがある。 「と呼ばれる行動である。

ハルシネーションの現実世界の例

幻覚は、微妙な不正確さから完全な作り話まで、さまざまな形で現れる：

• 法的ケースの捏造ある法律専門家が、LLM（法学修士号）を使って判例研究を行ったことが広く知られた。 を使用して判例研究を行った。このモデルは、いくつかの 存在しない裁判例 引用文献や判例が捏造され、制裁につながった。
• コーディング・ライブラリーの発明： AIコーディング・アシスタントを使用する開発者は、ソフトウェア・ライブラリやAPIメソッドの推奨に遭遇することがある。 実際には存在しないソフトウェア・ライブラリやAPIメソッドを推奨されることがある。モデルは、もっともらしい関数名 (例えば ultralytics.detect_everything()トレーニングデータで見た標準的な命名規則に基づいている。 という標準的な命名規則に基づいている。

軽減戦略

幻覚の軽減は、この分野の主要な焦点である。 AIセーフティの研究である。現在 が採用されている：

• 検索補強型生成（RAG）：この方法は、LLMを信頼できる外部の知識ベースに接続する。 ベース、例えば ベクトル・データベース.内部メモリだけに頼るのではなく、モデルは答えを生成する前に関連文書を検索する。 詳しくは RAGがどのように精度を向上させるか エンタープライズ・アプリケーションにおける
• 迅速なエンジニアリング：こんな技術 思考連鎖プロンプティング これは、論理的エラーを減らし、事実の一貫性を向上させることが示されています。 事実の一貫性が向上することが示されている。
• 人間のフィードバックからの強化学習（RLHF）：開発者は 人間のフィードバックからの強化学習（RLHF） を使用し、微調整の段階で幻覚のモデルにペナルティを与え、その出力を人間の嗜好に合わせます。 に合わせる。
• マルチモーダルグラウンディング：視覚言語タスクでは、テキスト出力を構造化されたデータと照合することで、幻覚を減らすことができる。 の構造化データと照合することで、幻覚を減らすことができる。 コンピュータビジョンモデル。

LLMにコンピュータ・ビジョンを導入

マルチモーダルワークフローにおける幻覚を軽減する効果的な方法の1つは、高精度の 物体検出モデルを使用して 高精度オブジェクト検出モデルを使用することです。検証されたオブジェクトのリストをLLMの コンテキストに送り込むことで、LLMがそこにない要素を作り出さないようにします。

次の例は Ultralytics YOLO11を使用して 生成モデルのための事実上の制約として機能することができます。

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

幻覚とその他の用語

幻覚を他のタイプのAIエラーと区別することは重要である：

• 対バイアス： AIにおけるバイアス出力における組織的な偏見（ステレオタイプ 出力における偏見（例：ステレオタイプ化）を指すのに対し、幻覚は事実誤認を指す。ある発言は 偏見はないが幻覚であることもあれば、事実はあるが偏見があることもある。
• 対精度エラー：分類タスクでは、間違った予測（犬を猫だとラベル付けするような）は、幻覚ではなく精度エラーとなる。 であり、幻覚ではない。幻覚は 生成生成プロセスに特有のものである。 特有のものである。
• 対オーバーフィット：一方 オーバーフィッティングオーバーフィッティング 幻覚は、モデルが訓練データを超えて汎化しようとして失敗したときによく起こる。 幻覚は、モデルが訓練データを超えて汎化しようとして失敗したときに発生することが多い。

ジェネレーティブ・モデルの評価については、以下の文献を参照されたい。 NIST AIリスク管理フレームワーク では、信頼性と安全性の基準について包括的に見ることができる。さらに、研究者たちは ファクトチェックアルゴリズム を開発し続けている。