Semantic Entropy
了解语义熵如何衡量大语言模型含义中的不确定性、区分冲突的答案，并支持更安全的AI评估与幻觉检测。
语义熵用于衡量生成式 AI 模型对其回答含义的不确定性。它不把每一种措辞变化视为不同的结果，而是将语义相同的响应归为一组，并衡量概率在所得含义之间的分布离散程度。如果重复的回答表达了一个一致的想法，那么语义熵就很低。如果它们支持几个相互冲突的想法，那么语义熵就会很高，这表明模型可能不知道哪个回答是正确的。
这个指标与大语言模型 (LLM) 或其他产生自由形式语言的系统尤其相关，在这些系统中，相同的含义可以通过许多不同的词序列来表达。
语义熵是如何工作的#
熵是概率分布中不确定性的一般度量：当概率集中于一个结果时它很低，而当几个结果仍然合理时它很高。NIST 熵定义提供了底层的理论信息概念。(csrc.nist.gov)
语义熵工作流通常包含四个步骤：
- 使用采样针对同一输入生成多个响应。
- 将表达相同含义的响应分组。
- 根据频率或生成概率估计每个含义的概率。
- 计算这些语义组之间的熵。
例如，“巴黎”、“答案是巴黎”以及“法国首都是巴黎”属于同一个含义组。“里昂”属于另一个含义组。词汇熵可能会把所有四个字符串视为不同从而夸大不确定性，而语义熵则能识别出前三者是一致的。
分组阶段可以使用人工判断、文本蕴含或数值嵌入并结合诸如scikit-learn 余弦相似度之类的相似度度量。
from collections import Counter
from scipy.stats import entropy
# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
"Paris",
"Paris",
"Paris",
"Lyon",
"Unknown",
]
counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]
score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")这个简化示例使用了文档化的SciPy 熵函数。在生产系统中，必须仔细验证语义分组，因为不正确的分组会扭曲最终得分。
相关概念与关键区别#
语义熵属于更广泛的不确定性量化领域，但它针对的是含义的不确定性，而不仅仅是标签、词元或数值预测。
- 词元熵衡量关于下一个词元或完整词元序列的不确定性。它可能会给无害的措辞差异赋予很高的不确定性。
- 自洽性检查重复生成是否产生兼容的回答。语义熵通过表示不同含义的相对分布来扩展这一思想。
- **置信度**通常是附加到一个预测上的分数。而语义熵则是比较多个可能的生成结果。两者都不应被自动解释为校准概率；必须根据观测到的结果来评估校准。(scikit-learn.org)
- **大模型中的幻觉**是一种错误，其中生成的内容是错误的、不受支持的或具有误导性的。语义熵是一个警告信号，而不是错误本身。高熵可能会揭示冲突的回答，而低熵并不能证明正确性，因为模型可以持续重复相同的虚假断言。因此，幻觉仍然可以保持自信和内部一致性。(openai.com)
- 语义分割为每个图像像素分配一个类别。尽管共享“语义”一词，但它是一项计算机视觉任务，与生成的含义上的熵无关。
实际应用#
**问答助手：**客户支持助手可以在响应之前采样多个答案。如果输出对于保修是否涵盖意外损坏意见不一，高语义熵可以触发文档检索、澄清或人工复核。结合检索增强生成 (RAG)，这降低了不受支持的政策声明传达给客户的可能性。
视觉语言决策支持：视觉语言模型 (VLM) 在多次生成中可能会将工业图像描述为显示“表面腐蚀”、“油渍”或“正常变色”。高语义熵表明存在可能导致错误维护决策的有意义的分歧。系统可以将图像路由给检查人员，而不是将一个流畅的描述视为确凿结论。
实际应用与局限性#
语义熵应被视为基于风险的评估管道的一个组成部分。团队应测试较高的得分是否确实对应于其领域中的更多错误、根据失误后果选择阈值，并保留放弃或人工复核的路径。NIST AI 风险管理框架核心强调衡量不确定性并将评估结果与持续的风险监控连接起来。(airc.nist.gov)
它最适用于开放式生成的输出。结构化计算机视觉预测需要不同的评估方法：Ultralytics 验证模式根据标记数据衡量性能，而语义熵可以评估多模态组件添加的任何自由文本解释。
生产团队还应跟踪分数分布、失败类别、延迟以及输入数据的变化。Google 关于监控生产机器学习系统的指南建议对预测漂移和质量下降进行日志记录和警报。Ultralytics 平台部署监控可以支持围绕视觉模型的更广泛的标注、训练、部署和监控工作流。语义熵可以识别该工作流中的不确定情况，但事实核查和代表性测试仍然至关重要。
