Semantic Entropy
A entropia semântica mede a incerteza de um LLM quanto aos significados das respostas geradas, em vez de à sua formulação, assinalando possíveis confabulações.
A entropia semântica mede a incerteza de um modelo de linguagem grande (LLM) quanto ao significado da resposta. É calculada gerando várias respostas à mesma pergunta, agrupando as que dizem o mesmo e calculando a entropia dos grupos. Se dez amostras formularem uma resposta de dez maneiras, a entropia semântica é zero; se derem três respostas diferentes, é elevada e o modelo provavelmente está a adivinhar. Lorenz Kuhn, Yarin Gal e Sebastian Farquhar, da Universidade de Oxford, apresentaram-na na ICLR 2023 em Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation, e um artigo de 2024 da Nature, de Farquhar, Jannik Kossen, Kuhn e Gal, aplicou-a à deteção de alucinações.
O artigo da Nature aborda um tipo de alucinação a que chama confabulação: afirmações que são simultaneamente erradas e arbitrárias, variando consoante a semente aleatória usada na amostragem. A entropia comum dos tokens gerados não permite isolá-la, porque «Paris», «É Paris» e «A capital é Paris» são sequências de tokens diferentes com o mesmo significado; assim, um modelo que sabe a resposta continua a parecer incerto.
Como se calcula a entropia semântica#
- Gera cerca de 10 respostas ao mesmo prompt com uma temperatura de amostragem diferente de zero.
- Agrupa as respostas por implicação mútua: duas respostas têm o mesmo significado se cada uma implicar a outra, segundo a avaliação de um modelo de inferência em linguagem natural, como o DeBERTa-large-MNLI, ou de um LLM geral, que foi o GPT-3.5 nas principais experiências da Nature. Este passo é uma forma de compreensão da linguagem natural (NLU).
- Estima a probabilidade de cada grupo somando as probabilidades das sequências das respetivas respostas ou, quando uma API fechada oculta as probabilidades dos tokens, usando a proporção de amostras do grupo; esta variante chama-se entropia semântica discreta.
- Calcula a entropia das probabilidades dos grupos.
A entropia semântica discreta precisa apenas das respostas e dos respetivos grupos. O excerto abaixo compara-a com a entropia ingénua das cadeias de texto originais para duas perguntas, com os grupos atribuídos como faria um modelo de implicação:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")As duas perguntas produzem quatro cadeias distintas em cinco amostras, pelo que a entropia ingénua é de 1,92 bits para cada uma. A entropia semântica distingue-as: 0,00 bits para a capital, em que todas as amostras indicam Camberra, e 1,37 bits para o ano de fundação, em que as amostras incluem 1913, o ano correto, 1908, quando o local foi escolhido, e 1927, quando o Parlamento se mudou para lá.
Resultados e limitações#
Em 30 combinações de conjuntos de dados de perguntas e respostas (TriviaQA, SQuAD, BioASQ, NQ-Open e SVAMP) e modelos (LLaMA 2 Chat, Falcon Instruct e Mistral Instruct), a entropia semântica distinguiu respostas erradas das certas com uma área sob a curva ROC (AUROC) média de 0,790, em comparação com 0,691 para a entropia ingénua e 0,698 para P(True), que pergunta ao modelo se a própria resposta está correta. Em biografias sobre 21 pessoas escritas pelo GPT-4, divididas em 150 afirmações factuais, das quais 45 eram erradas, a entropia semântica discreta também superou os dois métodos de referência na deteção das afirmações falsas.
O método tem limitações claras:
- Custo: Cerca de 10 gerações e verificações de implicação aos pares por pergunta. As sondas de entropia semântica, introduzidas por Kossen e colegas em 2024, reduzem este número a uma geração, prevendo a entropia semântica a partir dos estados ocultos do modelo.
- Erros consistentes: Um modelo que aprendeu um equívoco com os seus dados de treino dá sempre a mesma resposta errada, pelo que a entropia semântica permanece baixa. Só uma verificação com fontes externas, como na geração aumentada por recuperação (RAG), revela o erro.
- Respostas longas: Antes de poder comparar os significados, os parágrafos são divididos em afirmações individuais, como na experiência com biografias.
A entropia semântica é uma ferramenta de quantificação da incerteza para texto. A perplexidade avalia o grau de previsibilidade de um texto fixo para um modelo, a autoconsistência calcula o voto maioritário entre respostas amostradas de cadeias de raciocínio, e a previsão conformal transforma pontuações como estas em conjuntos com cobertura garantida. Benchmarks como Humanity's Last Exam medem a mesma discrepância pelo outro lado, comparando a confiança declarada pelos modelos com a frequência com que acertam.
A mesma verificação aplica-se aos modelos de visão e linguagem (VLMs) que descrevem o que um detetor encontrou. A interface LLM da Ultralytics envia uma imagem e uma pergunta a qualquer modelo compatível com OpenAI e reencaminha os argumentos do pedido sem os alterar, pelo que um pipeline pode fazer várias vezes a mesma pergunta sobre uma imagem na qual o YOLO26 detetou um objeto de interesse e agrupar as descrições recebidas.










