Semantic Entropy

A entropia semântica mede o grau de incerteza de um modelo de IA generativa quanto ao significado da sua resposta. Em vez de tratar cada variação de formulação como um resultado diferente, agrupa respostas semanticamente equivalentes e mede a dispersão da probabilidade pelos significados resultantes. Se as respostas repetidas expressarem uma ideia consistente, a entropia semântica é baixa. Se sustentarem várias ideias contraditórias, é elevada, indicando que o modelo pode não saber qual é a resposta correta.

Esta medida é especialmente relevante para um modelo de linguagem de grande escala (LLM) ou outro sistema que produza linguagem de forma livre, em que o mesmo significado pode ser expresso por muitas sequências de palavras diferentes.

Como funciona a entropia semântica#

A entropia é uma medida geral de incerteza numa distribuição de probabilidades: é baixa quando a probabilidade se concentra num único resultado e alta quando vários resultados continuam a ser plausíveis. A definição de entropia do NIST apresenta o conceito subjacente da teoria da informação. (csrc.nist.gov)

Um fluxo de trabalho de entropia semântica costuma seguir quatro etapas:

1. Gera várias respostas para a mesma entrada usando amostragem.
2. Agrupa as respostas que comunicam o mesmo significado.
3. Estima a probabilidade de cada significado com base na sua frequência ou probabilidade de geração.
4. Calcula a entropia entre esses grupos semânticos.

Por exemplo, “Paris”, “A resposta é Paris” e “A capital da França é Paris” pertencem a um mesmo grupo de significados. “Lyon” pertence a outro grupo. A entropia lexical pode exagerar a incerteza ao tratar as quatro expressões como diferentes, enquanto a entropia semântica reconhece que as três primeiras concordam.

A etapa de agrupamento pode usar avaliação humana, implicação textual ou embeddings numéricos combinados com uma medida de similaridade, como a similaridade de cosseno do scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Este exemplo simplificado usa a função de entropia documentada do SciPy. Num sistema de produção, o agrupamento semântico tem de ser validado cuidadosamente, pois um agrupamento incorreto pode distorcer a pontuação final.

Conceitos relacionados e principais diferenças#

A entropia semântica faz parte do campo mais amplo da quantificação da incerteza, mas aborda a incerteza relativa a significados, em vez de apenas rótulos, tokens ou previsões numéricas.

• Entropia de tokens mede a incerteza relativa ao próximo token ou a uma sequência completa de tokens. Pode atribuir elevada incerteza a diferenças inofensivas de formulação.
• Autoconsistência verifica se gerações repetidas produzem respostas compatíveis. A entropia semântica amplia esta ideia ao representar a distribuição relativa de diferentes significados.
• Confiança é normalmente uma pontuação associada a uma única previsão. Em vez disso, a entropia semântica compara várias gerações possíveis. Nenhuma das duas deve ser interpretada automaticamente como uma probabilidade calibrada; a calibração tem de ser avaliada em relação aos resultados observados. (scikit-learn.org)
• Alucinação em LLMs é um erro em que o conteúdo gerado é falso, não fundamentado ou enganador. A entropia semântica é um sinal de alerta, não o erro em si. Uma entropia elevada pode revelar respostas contraditórias, enquanto uma entropia baixa não comprova a correção, pois um modelo pode repetir consistentemente a mesma afirmação falsa. Assim, as alucinações podem continuar a ser expressas com confiança e consistência interna. (openai.com)
• Segmentação semântica atribui uma classe a cada píxel de uma imagem. Apesar de partilhar a palavra “semântica”, é uma tarefa de visão computacional e não está relacionada com a entropia dos significados gerados.

Aplicações no mundo real#

Assistentes de perguntas e respostas: Um assistente de apoio ao cliente pode gerar várias respostas por amostragem antes de responder. Se os resultados discordarem sobre a cobertura de danos acidentais por uma garantia, uma entropia semântica elevada pode desencadear a recuperação de documentos, um pedido de esclarecimento ou uma revisão humana. Combinada com a geração aumentada por recuperação (RAG), esta abordagem reduz a probabilidade de uma afirmação sem fundamento sobre uma política chegar ao cliente.

Apoio à tomada de decisões com visão e linguagem: Um modelo de visão e linguagem (VLM) pode descrever uma imagem industrial como apresentando “corrosão superficial”, “resíduos de óleo” ou “descoloração normal” em gerações repetidas. Uma entropia semântica elevada indica uma divergência significativa que pode levar a uma decisão de manutenção incorreta. O sistema pode encaminhar a imagem para um inspetor, em vez de tratar uma descrição fluente como definitiva.

Utilização prática e limitações#

A entropia semântica deve ser tratada como um componente de um fluxo de avaliação baseado no risco. As equipas devem testar se as pontuações mais elevadas correspondem realmente a mais erros no respetivo domínio, definir limiares de acordo com as consequências dos erros e manter uma opção de abstenção ou revisão humana. O Núcleo da Estrutura de Gestão de Riscos de IA do NIST salienta a importância de medir a incerteza e relacionar os resultados da avaliação com a monitorização contínua dos riscos. (airc.nist.gov)

É mais adequada para resultados gerados em formato aberto. As previsões estruturadas de visão computacional exigem outros métodos de avaliação: o modo de validação do Ultralytics mede o desempenho em relação a dados anotados, enquanto a entropia semântica pode avaliar qualquer explicação em texto livre acrescentada por um componente multimodal.

As equipas de produção também devem acompanhar as distribuições das pontuações, as categorias de falhas, a latência e as alterações nos dados de entrada. As recomendações da Google sobre monitorização de sistemas de ML em produção incluem o registo de dados e alertas para desvios nas previsões e degradação da qualidade. A monitorização da implementação da Ultralytics Platform pode apoiar o fluxo de trabalho mais abrangente de anotação, treino, implementação e monitorização associado a modelos de visão. A entropia semântica pode identificar casos incertos nesse fluxo, mas a verificação factual e os testes representativos continuam a ser essenciais.