Semantic Entropy

意味エントロピーは、生成AIモデルが回答の意味についてどの程度不確かであるかを測定します。表現の違いをそれぞれ異なる結果として扱うのではなく、意味的に同等な応答をグループ化し、結果として得られる意味の間で確率がどの程度分散しているかを測定します。繰り返し生成される回答が一貫した1つの考えを表す場合、意味エントロピーは低くなります。複数の相反する考えを示す場合は高くなり、モデルが正しい回答を判断できていない可能性を示します。

この指標は、大規模言語モデル (LLM)や、自由形式の言語を生成するその他のシステムに特に関連します。このようなシステムでは、同じ意味をさまざまな単語の並びで表現できます。

セマンティックエントロピーの仕組み#

エントロピーは、確率分布における不確実性を示す一般的な指標です。確率が1つの結果に集中している場合は低く、複数の結果が依然として妥当な場合は高くなります。NISTのエントロピーの定義は、基礎となる情報理論の概念を示しています。(csrc.nist.gov)

セマンティックエントロピーのワークフローは、通常、次の4つのステップで構成されます。

1. サンプリングを使用して、同じ入力に対する複数の応答を生成します。
2. 同じ意味を伝える応答をグループ化します。
3. 頻度または生成確率から、各意味の確率を推定します。
4. これらの意味グループ全体のエントロピーを計算します。

たとえば、「Paris」、「The answer is Paris」、「France’s capital is Paris」は、同じ意味グループに属します。「Lyon」は別のグループに属します。語彙エントロピーでは、この4つの文字列をすべて異なるものとして扱うため、不確実性を過大評価する可能性があります。一方、セマンティックエントロピーでは、最初の3つが同じ意味であると認識します。

グループ化の段階では、人間の判断、テキスト含意、または埋め込みとscikit-learnのコサイン類似度などの類似度指標を組み合わせて使用できます。

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

この簡略化した例では、文書化されているSciPyのエントロピー関数を使用しています。本番システムでは、誤ったグループ化によって最終スコアが歪む可能性があるため、セマンティックグループ化を慎重に検証する必要があります。

関連概念と主な違い#

セマンティックエントロピーは、より広範な不確実性定量化の分野に属しますが、ラベル、トークン、数値予測だけでなく、意味に関する不確実性を扱います。

• トークンエントロピーは、次のトークンまたはトークン列全体に関する不確実性を測定します。無害な言い回しの違いに対して、高い不確実性を示す場合があります。
• 自己整合性は、生成を繰り返したときに互換性のある回答が得られるかどうかを確認します。セマンティックエントロピーは、異なる意味の相対的な分布を表すことで、この考え方を拡張します。
• 信頼度は通常、1つの予測に付与されるスコアです。一方、セマンティックエントロピーは、複数の生成候補を比較します。どちらも、校正された確率として自動的に解釈すべきではありません。校正の精度は、観測された結果に基づいて評価する必要があります。(scikit-learn.org)
• LLMのハルシネーションとは、生成内容が誤りである、根拠がない、または誤解を招くエラーです。セマンティックエントロピーは警告信号であり、エラーそのものではありません。高いエントロピーは矛盾する回答を示す可能性がありますが、低いエントロピーでも正しさが証明されるわけではありません。モデルが同じ誤った主張を一貫して繰り返す可能性があるためです。そのため、ハルシネーションは確信に満ちていて、内部的に一貫している場合もあります。(openai.com)
• セマンティックセグメンテーションは、画像の各ピクセルにクラスを割り当てます。「セマンティック」という言葉は共通していますが、これはコンピュータビジョンのタスクであり、生成された意味に関するエントロピーとは無関係です。

実際のアプリケーション#

質問応答アシスタント：カスタマーサポートアシスタントは、回答前に複数の回答候補をサンプリングできます。出力間で、保証が偶発的な損傷を補償するかどうかについて意見が分かれる場合、高いセマンティックエントロピーをトリガーとして、ドキュメント検索、確認、または人によるレビューを行えます。検索拡張生成 (RAG)と組み合わせることで、根拠のないポリシー上の主張が顧客に伝わる可能性を低減できます。

視覚言語による意思決定支援：視覚言語モデル (VLM)は、工業画像を繰り返し生成した説明の中で「表面腐食」「油の残留物」「通常の変色」と表現する可能性があります。高いセマンティックエントロピーは、誤った保守判断につながりかねない意味のある意見の相違を示します。システムは、流暢な説明を1つだけ決定的なものとして扱うのではなく、画像を検査担当者に回すことができます。

実践的な活用と制限事項#

セマンティックエントロピーは、リスクベースの評価パイプラインを構成する要素の1つとして扱う必要があります。チームは、スコアの上昇が実際に自分たちのドメインでのエラー増加に対応するかをテストし、誤りの影響に応じてしきい値を選択し、回答を保留する仕組みや人によるレビュー経路を維持する必要があります。NIST AIリスク管理フレームワーク・コアでは、不確実性を測定し、評価結果を継続的なリスク監視に結び付けることが重視されています。(airc.nist.gov)

セマンティックエントロピーは、自由形式の生成出力に最も適しています。構造化されたコンピュータビジョンの予測には、異なる評価手法が必要です。Ultralyticsの検証モードはラベル付きデータに対する性能を測定し、セマンティックエントロピーはマルチモーダルコンポーネントが追加する自由記述の説明を評価できます。

本番環境のチームは、スコアの分布、失敗カテゴリ、レイテンシ、入力データの変化も追跡する必要があります。Googleの本番MLシステムの監視に関するガイダンスでは、予測ドリフトや品質低下に対するログ記録とアラートが推奨されています。Ultralytics Platformのデプロイ監視は、ビジョンモデルを取り巻くアノテーション、トレーニング、デプロイ、監視の広範なワークフローを支援できます。セマンティックエントロピーは、そのワークフロー内の不確実なケースを特定できますが、事実確認と代表性のあるテストは引き続き不可欠です。