获取 YOLO 许可
返回 Ultralytics 术语表

Semantic Entropy

语义熵衡量 LLM 对采样答案含义而非措辞的不确定性,并据此标记可能的虚构内容。

语义熵用于衡量大型语言模型 (LLM)对回答含义的不确定程度。计算时,会对同一个问题采样多个回答,将含义相同的回答分组,再计算这些组的熵。如果十个样本用十种说法表达同一个答案,语义熵为零;如果它们给出三个不同答案,语义熵就会很高,模型也很可能是在猜测。牛津大学的 Lorenz Kuhn、Yarin Gal 和 Sebastian Farquhar 在 ICLR 2023 上通过论文 Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation首次提出了这一方法;Farquhar、Jannik Kossen、Kuhn 和 Gal 在 2024 年发表的 Nature 论文中将其用于检测幻觉。

这篇 Nature 论文针对一种称为虚构编造的幻觉:这类说法既错误又随意,会随着采样所用的随机种子而变化。对生成的 token计算普通熵无法识别这类问题,因为“巴黎”“是巴黎”和“首都是巴黎”是不同的 token 序列,却表达了同一个意思,所以即使模型知道答案,看起来仍然会不确定。

如何计算语义熵#

  1. 使用非零采样温度,从同一提示采样大约 10 个回答。
  2. 根据双向蕴含关系对回答聚类:如果两个回答可以相互推出,那么它们表达的含义相同。判断过程可由自然语言推理模型(例如 DeBERTa-large-MNLI)或通用 LLM 执行;Nature 论文的主要实验使用的是 GPT-3.5。这一步属于自然语言理解 (NLU)。
  3. 通过对某个簇中各回答的序列概率求和来估算该簇的概率;如果封闭 API 隐藏了 token 概率,则根据该簇中的样本占比估算,这种变体称为离散语义熵。
  4. 根据各簇的概率计算熵。

离散语义熵只需要回答及其所属簇。下面的代码片段将它与两个问题的原始字符串朴素熵进行比较,并按照蕴含模型可能采用的方式为回答分配簇:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

两个问题的五个样本中都产生了四种不同的字符串,因此两者的朴素熵均为 1.92 比特。语义熵则区分了两者:首都问题为 0.00 比特,因为每个样本表达的都是堪培拉;建城年份问题为 1.37 比特,因为样本混杂了正确年份 1913 年、选定该地点的 1908 年,以及议会迁至此处的 1927 年。

结果与局限#

在 问答数据集(TriviaQA、SQuAD、BioASQ、NQ-Open 和 SVAMP)与模型(LLaMA 2 Chat、Falcon Instruct 和 Mistral Instruct)的 30 种组合中,语义熵区分错误答案与正确答案的平均ROC 曲线下面积 (AUROC)为 0.790,高于朴素熵的 0.691 和 P(True) 的 0.698;P(True) 会询问模型自己的回答是否正确。在关于 21 人的传记中,GPT-4生成的内容被拆分为 150 条事实性陈述,其中 45 条有误;在标记错误陈述方面,离散语义熵也胜过两个基线方法。

这种方法有明显局限:

  • 成本:每个问题大约需要生成 10 个回答,并执行成对蕴含检查。Kossen 及其同事在 2024 年提出的语义熵探测方法可根据模型的隐藏状态预测语义熵,因此只需生成一个回答。
  • 错误一致:模型如果从训练数据中学到错误观念,每次都会给出相同的错误答案,因此语义熵会保持较低;只有像检索增强生成 (RAG)这样与外部来源核对的方法才能揭示错误。
  • 长回答:如传记实验所示,必须先将段落拆分为单条陈述,才能比较各条陈述的含义。

语义熵是文本不确定性量化的一种工具。困惑度衡量模型对固定文本的可预测程度,自一致性会对采样得到的思维链回答进行多数表决,而保形预测则会将这类分数转换为具有覆盖率保证的集合。Humanity's Last Exam等基准从另一个角度衡量同一差距:比较模型给出的置信度与模型实际答对的频率。

同样的检查方法也适用于描述检测器发现内容的视觉语言模型 (VLM)。Ultralytics LLM 接口会向任何兼容 OpenAI 的模型发送图像和问题,并原样转发请求参数,因此,当 YOLO26在图像中检测到感兴趣的对象后,处理流水线可以针对该图像多次提出同一个问题,并对收到的描述进行聚类。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来