YOLOのライセンス
Ultralytics用語集に戻る

Semantic Entropy

セマンティックエントロピーは、サンプリングされた回答の表現ではなく意味に関するLLMの不確実性を測定し、もっともらしい作話を検出します。

意味エントロピーは、大規模言語モデル (LLM)が回答の意味についてどの程度不確かかを測定する指標です。同じ質問に対する複数の回答をサンプリングし、同じ意味の回答をグループ化して、グループ間のエントロピーを計算します。10個のサンプルが1つの回答を10通りに表現していれば、意味エントロピーは0です。3つの異なる回答が得られた場合は高くなり、モデルが推測している可能性が高くなります。オックスフォード大学のLorenz Kuhn氏、Yarin Gal氏、Sebastian Farquhar氏は、Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generationでこの手法を提案し、ICLR 2023で発表しました。Farquhar氏、Jannik Kossen氏、Kuhn氏、Gal氏による2024年のNature論文では、幻覚の検出にこの手法を応用しました。

Nature論文では、「作話」と呼ぶ種類の幻覚を対象としています。これは誤りであると同時に恣意的で、サンプリングに使う乱数シードに応じて変わる主張です。生成されたトークンに対する通常のエントロピーでは、この現象を切り分けられません。「パリ」、「パリです」、「首都はパリです」はトークン列が異なっていても同じ意味であり、答えを知っているモデルでも不確かに見えてしまうためです。

意味エントロピーの計算方法#

  1. サンプリング温度を0より大きく設定し、同じプロンプトに対する回答を約10個サンプリングします。
  2. 双方向含意に基づいて回答をクラスタリングします。自然言語推論モデル(DeBERTa-large-MNLIなど)または汎用LLM(Nature論文の主な実験ではGPT-3.5)が判定し、互いに相手を含意する回答同士を同じ意味として扱います。この手順は自然言語理解 (NLU)の一種です。
  3. 各クラスターに属する回答のシーケンス確率を合計してクラスターごとの確率を推定します。トークン確率が非公開のクローズドAPIを使う場合は、クラスター内のサンプルの割合で推定します。これは離散意味エントロピーと呼ばれる変種です。
  4. クラスター確率に対するエントロピーを計算します。

離散意味エントロピーの計算に必要なのは、回答とそのクラスターだけです。次のスニペットでは、2つの質問について、含意モデルが割り当てる場合と同様にクラスターを割り当て、素の文字列に対する単純なエントロピーと比較します。

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

どちらの質問も、5つのサンプルから4種類の文字列が得られるため、単純なエントロピーはそれぞれ1.92ビットです。意味エントロピーでは両者を区別できます。首都に関する質問はすべてのサンプルがキャンベラを意味するため0.00ビットです。一方、建国年に関する質問は正解の1913年、土地が選定された1908年、議会が移転した1927年が混在するため1.37ビットです。

結果と制限事項#

質問応答データセット(TriviaQA、SQuAD、BioASQ、NQ-Open、SVAMP)とモデル(LLaMA 2 Chat、Falcon Instruct、Mistral Instruct)の30通りの組み合わせ全体で、意味エントロピーは誤答と正答を平均ROC曲線下面積 (AUROC)0.790で区別しました。単純なエントロピーは0.691、モデル自身に回答が正しいかを尋ねるP(True)は0.698でした。21人についてGPT-4が作成した伝記を、誤り45件を含む事実の主張150件に分けて評価した場合も、離散意味エントロピーは誤った主張の検出において両方のベースラインを上回りました。

この手法には明確な制限があります。

  • コスト:質問ごとに約10回の生成と、ペアごとの含意チェックが必要です。Kossen氏らが2024年に提案した意味エントロピープローブは、モデルの隠れ状態から意味エントロピーを予測することで、生成を1回に抑えます。
  • 一貫した誤り:モデルが学習データから誤解を学んだ場合、毎回同じ誤答を返すため意味エントロピーは低いままです。検索拡張生成 (RAG)のように外部情報源と照合して初めて、誤りが明らかになります。
  • 長い回答:意味を比較する前に、伝記の実験と同様、段落を個々の主張に分割する必要があります。

意味エントロピーは、テキストに対する不確実性定量化の手法の1つです。パープレキシティは、固定されたテキストがモデルにとってどれだけ予測しやすいかを測定します。自己整合性は、サンプリングした思考の連鎖形式の回答で多数決を取ります。コンフォーマル予測は、こうしたスコアを、保証されたカバレッジを持つ集合に変換します。Humanity's Last Examなどのベンチマークは、モデルが示す信頼度と実際に正解する頻度を比較し、同じ隔たりを反対側から測定します。

検出器が見つけたものを説明するビジョン・言語モデル (VLM)にも、同じ検証を適用できます。Ultralytics LLMインターフェースは画像と質問をOpenAI互換モデルに送信し、リクエスト引数を変更せずに転送します。そのため、パイプラインではYOLO26が関心対象の物体を検出した画像について、同じ質問を複数回行い、返された説明をクラスタリングできます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう