Semantic Entropy
语义熵衡量 LLM 对采样答案含义而非措辞的不确定性,并据此标记可能的虚构内容。
语义熵用于衡量大型语言模型 (LLM)对回答含义的不确定程度。计算时,会对同一个问题采样多个回答,将含义相同的回答分组,再计算这些组的熵。如果十个样本用十种说法表达同一个答案,语义熵为零;如果它们给出三个不同答案,语义熵就会很高,模型也很可能是在猜测。牛津大学的 Lorenz Kuhn、Yarin Gal 和 Sebastian Farquhar 在 ICLR 2023 上通过论文 Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation首次提出了这一方法;Farquhar、Jannik Kossen、Kuhn 和 Gal 在 2024 年发表的 Nature 论文中将其用于检测幻觉。
这篇 Nature 论文针对一种称为虚构编造的幻觉:这类说法既错误又随意,会随着采样所用的随机种子而变化。对生成的 token计算普通熵无法识别这类问题,因为“巴黎”“是巴黎”和“首都是巴黎”是不同的 token 序列,却表达了同一个意思,所以即使模型知道答案,看起来仍然会不确定。
如何计算语义熵#
- 使用非零采样温度,从同一提示采样大约 10 个回答。
- 根据双向蕴含关系对回答聚类:如果两个回答可以相互推出,那么它们表达的含义相同。判断过程可由自然语言推理模型(例如 DeBERTa-large-MNLI)或通用 LLM 执行;Nature 论文的主要实验使用的是 GPT-3.5。这一步属于自然语言理解 (NLU)。
- 通过对某个簇中各回答的序列概率求和来估算该簇的概率;如果封闭 API 隐藏了 token 概率,则根据该簇中的样本占比估算,这种变体称为离散语义熵。
- 根据各簇的概率计算熵。
离散语义熵只需要回答及其所属簇。下面的代码片段将它与两个问题的原始字符串朴素熵进行比较,并按照蕴含模型可能采用的方式为回答分配簇:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")两个问题的五个样本中都产生了四种不同的字符串,因此两者的朴素熵均为 1.92 比特。语义熵则区分了两者:首都问题为 0.00 比特,因为每个样本表达的都是堪培拉;建城年份问题为 1.37 比特,因为样本混杂了正确年份 1913 年、选定该地点的 1908 年,以及议会迁至此处的 1927 年。
结果与局限#
在 问答数据集(TriviaQA、SQuAD、BioASQ、NQ-Open 和 SVAMP)与模型(LLaMA 2 Chat、Falcon Instruct 和 Mistral Instruct)的 30 种组合中,语义熵区分错误答案与正确答案的平均ROC 曲线下面积 (AUROC)为 0.790,高于朴素熵的 0.691 和 P(True) 的 0.698;P(True) 会询问模型自己的回答是否正确。在关于 21 人的传记中,GPT-4生成的内容被拆分为 150 条事实性陈述,其中 45 条有误;在标记错误陈述方面,离散语义熵也胜过两个基线方法。
这种方法有明显局限:
- 成本:每个问题大约需要生成 10 个回答,并执行成对蕴含检查。Kossen 及其同事在 2024 年提出的语义熵探测方法可根据模型的隐藏状态预测语义熵,因此只需生成一个回答。
- 错误一致:模型如果从训练数据中学到错误观念,每次都会给出相同的错误答案,因此语义熵会保持较低;只有像检索增强生成 (RAG)这样与外部来源核对的方法才能揭示错误。
- 长回答:如传记实验所示,必须先将段落拆分为单条陈述,才能比较各条陈述的含义。
语义熵是文本不确定性量化的一种工具。困惑度衡量模型对固定文本的可预测程度,自一致性会对采样得到的思维链回答进行多数表决,而保形预测则会将这类分数转换为具有覆盖率保证的集合。Humanity's Last Exam等基准从另一个角度衡量同一差距:比较模型给出的置信度与模型实际答对的频率。
同样的检查方法也适用于描述检测器发现内容的视觉语言模型 (VLM)。Ultralytics LLM 接口会向任何兼容 OpenAI 的模型发送图像和问题,并原样转发请求参数,因此,当 YOLO26在图像中检测到感兴趣的对象后,处理流水线可以针对该图像多次提出同一个问题,并对收到的描述进行聚类。










