幻覚（LLMの場合）

幻覚はなぜ起こるのか

LLMは、（「Attention Is All You Need」論文で紹介した）Transformerのようなアーキテクチャ上に構築されることが多いが、基本的には確率的モデルである。LLMは、以下のようなフレームワークを使って、学習中に膨大な量のテキストデータからパターン、文法、事実の関連性を学習する。 PyTorchまたは TensorFlow.しかし、彼らには真の理解や意識、情報を本質的に検証する能力はない。幻覚はいくつかの要因から生じる：

• トレーニングデータの限界：モデルは、ノイズの多いデータ、偏ったデータ、事実と異なるデータでトレーニングされた可能性がある。学習したパターンに基づいて「ギャップを埋め」ようとするため、捏造につながる。
• モデル・アーキテクチャとトレーニング： GPT-4のようなモデルが情報を処理し、単語単位でシーケンスを生成する方法は、統計的にはもっともらしいが、事実としては正しくない経路をたどる可能性がある。ディープラーニング・モデルは複雑であるため、予測不可能な振る舞いをしやすい。
• デコード戦略：テキスト生成（推論）時に使用されるパラメーター、例えば「温度」はランダム性に影響を与える。温度が高いほど創造性が高まるが、幻覚のリスクが高まる。
• 根拠の欠如：生成されたテキストを実世界の知識や特定のソース文書に結びつけるメカニズムがないと、モデルは裏付けのない記述に流れてしまう可能性がある。グラウンディングのような技術は、これに対処することを目的としている。
• プロンプトの曖昧さ：曖昧なプロンプトや不十分なプロンプトは、モデルに仮定を与えたり、制約の少ない出力を生成させ、不正確な可能性を高めます。効果的なプロンプトエンジニアリングが鍵となります。

実例とインパクト

幻覚はさまざまな形で現れる可能性があり、誤った情報を広めたり、有害なコンテンツを生成したり、AIシステムに対するユーザーの信頼を損なうなど、重大なリスクをもたらす。

1. チャットボットにおける事実の捏造：ユーザーが特定の科学的発見についてチャットボットに質問すると、チャットボットは詳細を捏造したり、発見を間違った人物のものとしたり、存在しない出来事を高い信頼性で説明したりする可能性があります。
2. 捏造された法律引用：大々的に報道された事件では、弁護士が法律調査にAIツールを使用したところ、まったく捏造された判例引用が生成され、裁判文書に記載され、制裁につながった。

その影響は単純なエラーにとどまらず、特に検索エンジン（GoogleAI概要のような）やバーチャルアシスタント、コンテンツ作成ツールに組み込まれるようになると、AIシステムの信頼性が問われることになる。この問題に対処することは、AIの倫理と安全性における中核的な課題であり、強固な検証と モニタリング戦略を必要とする。

幻覚と他の誤りを区別する

幻覚を他のタイプのAIエラーと区別することは重要だ：

• AIにおけるバイアス：学習データに存在するバイアス（例：性別や人種のステレオタイプ）を反映した、系統的なエラーや歪んだ出力を指す。幻覚は通常、一貫性のある偏った出力ではなく、よりランダムな捏造である。ここでは、データセットのバイアスを理解することが重要である。
• オーバーフィッティング：これは、モデルがノイズを含めて学習データを学習しすぎてしまい、新しい未知のデータ（検証データ）に汎化できない場合に発生する。オーバーフィッティングはパフォーマンスの低下につながるが、まったく新しい誤った情報を生成することとは異なる。
• 古い情報：LLMは、トレーニングデータが最新でないという理由だけで、誤った情報を提供することがある。これは知識の切り捨てに基づく事実誤認であり、情報が捏造された幻覚ではない。

緩和戦略

研究者や開発者は、LLMの幻覚を減らすことに積極的に取り組んでいる：

• トレーニングデータの改善：より質が高く、多様で、ファクトチェックされたデータセットのキュレーション。高品質のベンチマーク・データセットを使用する。
• 検索補強型ジェネレーション（RAG）：応答を生成する前に、外部の信頼できる知識ベース（ベクトルデータベースなど）から情報を取得し、引用する機能をLLMに装備する。
• ファインチューニングとRLHF：特定のタスクやデータセットでベースモデルを改良し、RLHF（Reinforcement Learning from Human Feedback）のようなテクニックを使って、モデルの振る舞いを望ましい結果（例えば、真実性）に合わせる。
• より良いプロンプティング： 思考連鎖プロンプトのようなテクニックは、モデルに「ステップバイステップで考える」ことを促し、エラーを減らす可能性がある。
• 出力の検証：生成されたステートメントを既知の事実または複数のソースと照合するメカニズムを実装すること。
• 推論パラメーターの調整：温度」などの設定を下げることで、出力をより集中させ、ランダム性を減らし、幻覚のリスクを減らすことができる。

LLMが言語に焦点を当てているのに対して、コンピュータビジョン（CV）に特化したモデル、例えば以下のようなものがある。 Ultralytics YOLOのような物体検出に特化したモデルでは、動作が異なり、検出精度の確保などの明確な課題に直面する。しかし、言語と視覚を組み合わせたマルチモーダルモデル（CLIPのような）の傾向は、幻覚のような問題を理解することが、ドメインを越えて関連することを意味します。Ultralytics HUBのようなプラットフォームは、様々なAIモデルのトレーニングとデプロイメントをサポートし、異なるモダリティ間での開発を容易にします。