Semantic Entropy
セマンティックエントロピーは、サンプリングされた回答の表現ではなく意味に関するLLMの不確実性を測定し、もっともらしい作話を検出します。
意味エントロピーは、大規模言語モデル (LLM)が回答の意味についてどの程度不確かかを測定する指標です。同じ質問に対する複数の回答をサンプリングし、同じ意味の回答をグループ化して、グループ間のエントロピーを計算します。10個のサンプルが1つの回答を10通りに表現していれば、意味エントロピーは0です。3つの異なる回答が得られた場合は高くなり、モデルが推測している可能性が高くなります。オックスフォード大学のLorenz Kuhn氏、Yarin Gal氏、Sebastian Farquhar氏は、Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generationでこの手法を提案し、ICLR 2023で発表しました。Farquhar氏、Jannik Kossen氏、Kuhn氏、Gal氏による2024年のNature論文では、幻覚の検出にこの手法を応用しました。
Nature論文では、「作話」と呼ぶ種類の幻覚を対象としています。これは誤りであると同時に恣意的で、サンプリングに使う乱数シードに応じて変わる主張です。生成されたトークンに対する通常のエントロピーでは、この現象を切り分けられません。「パリ」、「パリです」、「首都はパリです」はトークン列が異なっていても同じ意味であり、答えを知っているモデルでも不確かに見えてしまうためです。
意味エントロピーの計算方法#
- サンプリング温度を0より大きく設定し、同じプロンプトに対する回答を約10個サンプリングします。
- 双方向含意に基づいて回答をクラスタリングします。自然言語推論モデル(DeBERTa-large-MNLIなど)または汎用LLM(Nature論文の主な実験ではGPT-3.5)が判定し、互いに相手を含意する回答同士を同じ意味として扱います。この手順は自然言語理解 (NLU)の一種です。
- 各クラスターに属する回答のシーケンス確率を合計してクラスターごとの確率を推定します。トークン確率が非公開のクローズドAPIを使う場合は、クラスター内のサンプルの割合で推定します。これは離散意味エントロピーと呼ばれる変種です。
- クラスター確率に対するエントロピーを計算します。
離散意味エントロピーの計算に必要なのは、回答とそのクラスターだけです。次のスニペットでは、2つの質問について、含意モデルが割り当てる場合と同様にクラスターを割り当て、素の文字列に対する単純なエントロピーと比較します。
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")どちらの質問も、5つのサンプルから4種類の文字列が得られるため、単純なエントロピーはそれぞれ1.92ビットです。意味エントロピーでは両者を区別できます。首都に関する質問はすべてのサンプルがキャンベラを意味するため0.00ビットです。一方、建国年に関する質問は正解の1913年、土地が選定された1908年、議会が移転した1927年が混在するため1.37ビットです。
結果と制限事項#
質問応答データセット(TriviaQA、SQuAD、BioASQ、NQ-Open、SVAMP)とモデル(LLaMA 2 Chat、Falcon Instruct、Mistral Instruct)の30通りの組み合わせ全体で、意味エントロピーは誤答と正答を平均ROC曲線下面積 (AUROC)0.790で区別しました。単純なエントロピーは0.691、モデル自身に回答が正しいかを尋ねるP(True)は0.698でした。21人についてGPT-4が作成した伝記を、誤り45件を含む事実の主張150件に分けて評価した場合も、離散意味エントロピーは誤った主張の検出において両方のベースラインを上回りました。
この手法には明確な制限があります。
- コスト:質問ごとに約10回の生成と、ペアごとの含意チェックが必要です。Kossen氏らが2024年に提案した意味エントロピープローブは、モデルの隠れ状態から意味エントロピーを予測することで、生成を1回に抑えます。
- 一貫した誤り:モデルが学習データから誤解を学んだ場合、毎回同じ誤答を返すため意味エントロピーは低いままです。検索拡張生成 (RAG)のように外部情報源と照合して初めて、誤りが明らかになります。
- 長い回答:意味を比較する前に、伝記の実験と同様、段落を個々の主張に分割する必要があります。
意味エントロピーは、テキストに対する不確実性定量化の手法の1つです。パープレキシティは、固定されたテキストがモデルにとってどれだけ予測しやすいかを測定します。自己整合性は、サンプリングした思考の連鎖形式の回答で多数決を取ります。コンフォーマル予測は、こうしたスコアを、保証されたカバレッジを持つ集合に変換します。Humanity's Last Examなどのベンチマークは、モデルが示す信頼度と実際に正解する頻度を比較し、同じ隔たりを反対側から測定します。
検出器が見つけたものを説明するビジョン・言語モデル (VLM)にも、同じ検証を適用できます。Ultralytics LLMインターフェースは画像と質問をOpenAI互換モデルに送信し、リクエスト引数を変更せずに転送します。そのため、パイプラインではYOLO26が関心対象の物体を検出した画像について、同じ質問を複数回行い、返された説明をクラスタリングできます。










