Licenciar o YOLO
Voltar ao glossário da Ultralytics

Semantic Entropy

A entropia semântica mede a incerteza de um LLM quanto aos significados das respostas geradas, em vez de à sua formulação, assinalando possíveis confabulações.

A entropia semântica mede a incerteza de um modelo de linguagem grande (LLM) quanto ao significado da resposta. É calculada gerando várias respostas à mesma pergunta, agrupando as que dizem o mesmo e calculando a entropia dos grupos. Se dez amostras formularem uma resposta de dez maneiras, a entropia semântica é zero; se derem três respostas diferentes, é elevada e o modelo provavelmente está a adivinhar. Lorenz Kuhn, Yarin Gal e Sebastian Farquhar, da Universidade de Oxford, apresentaram-na na ICLR 2023 em Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation, e um artigo de 2024 da Nature, de Farquhar, Jannik Kossen, Kuhn e Gal, aplicou-a à deteção de alucinações.

O artigo da Nature aborda um tipo de alucinação a que chama confabulação: afirmações que são simultaneamente erradas e arbitrárias, variando consoante a semente aleatória usada na amostragem. A entropia comum dos tokens gerados não permite isolá-la, porque «Paris», «É Paris» e «A capital é Paris» são sequências de tokens diferentes com o mesmo significado; assim, um modelo que sabe a resposta continua a parecer incerto.

Como se calcula a entropia semântica#

  1. Gera cerca de 10 respostas ao mesmo prompt com uma temperatura de amostragem diferente de zero.
  2. Agrupa as respostas por implicação mútua: duas respostas têm o mesmo significado se cada uma implicar a outra, segundo a avaliação de um modelo de inferência em linguagem natural, como o DeBERTa-large-MNLI, ou de um LLM geral, que foi o GPT-3.5 nas principais experiências da Nature. Este passo é uma forma de compreensão da linguagem natural (NLU).
  3. Estima a probabilidade de cada grupo somando as probabilidades das sequências das respetivas respostas ou, quando uma API fechada oculta as probabilidades dos tokens, usando a proporção de amostras do grupo; esta variante chama-se entropia semântica discreta.
  4. Calcula a entropia das probabilidades dos grupos.

A entropia semântica discreta precisa apenas das respostas e dos respetivos grupos. O excerto abaixo compara-a com a entropia ingénua das cadeias de texto originais para duas perguntas, com os grupos atribuídos como faria um modelo de implicação:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

As duas perguntas produzem quatro cadeias distintas em cinco amostras, pelo que a entropia ingénua é de 1,92 bits para cada uma. A entropia semântica distingue-as: 0,00 bits para a capital, em que todas as amostras indicam Camberra, e 1,37 bits para o ano de fundação, em que as amostras incluem 1913, o ano correto, 1908, quando o local foi escolhido, e 1927, quando o Parlamento se mudou para lá.

Resultados e limitações#

Em 30 combinações de conjuntos de dados de perguntas e respostas (TriviaQA, SQuAD, BioASQ, NQ-Open e SVAMP) e modelos (LLaMA 2 Chat, Falcon Instruct e Mistral Instruct), a entropia semântica distinguiu respostas erradas das certas com uma área sob a curva ROC (AUROC) média de 0,790, em comparação com 0,691 para a entropia ingénua e 0,698 para P(True), que pergunta ao modelo se a própria resposta está correta. Em biografias sobre 21 pessoas escritas pelo GPT-4, divididas em 150 afirmações factuais, das quais 45 eram erradas, a entropia semântica discreta também superou os dois métodos de referência na deteção das afirmações falsas.

O método tem limitações claras:

  • Custo: Cerca de 10 gerações e verificações de implicação aos pares por pergunta. As sondas de entropia semântica, introduzidas por Kossen e colegas em 2024, reduzem este número a uma geração, prevendo a entropia semântica a partir dos estados ocultos do modelo.
  • Erros consistentes: Um modelo que aprendeu um equívoco com os seus dados de treino dá sempre a mesma resposta errada, pelo que a entropia semântica permanece baixa. Só uma verificação com fontes externas, como na geração aumentada por recuperação (RAG), revela o erro.
  • Respostas longas: Antes de poder comparar os significados, os parágrafos são divididos em afirmações individuais, como na experiência com biografias.

A entropia semântica é uma ferramenta de quantificação da incerteza para texto. A perplexidade avalia o grau de previsibilidade de um texto fixo para um modelo, a autoconsistência calcula o voto maioritário entre respostas amostradas de cadeias de raciocínio, e a previsão conformal transforma pontuações como estas em conjuntos com cobertura garantida. Benchmarks como Humanity's Last Exam medem a mesma discrepância pelo outro lado, comparando a confiança declarada pelos modelos com a frequência com que acertam.

A mesma verificação aplica-se aos modelos de visão e linguagem (VLMs) que descrevem o que um detetor encontrou. A interface LLM da Ultralytics envia uma imagem e uma pergunta a qualquer modelo compatível com OpenAI e reencaminha os argumentos do pedido sem os alterar, pelo que um pipeline pode fazer várias vezes a mesma pergunta sobre uma imagem na qual o YOLO26 detetou um objeto de interesse e agrupar as descrições recebidas.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina