Semantic Entropy

A entropia semântica mede o grau de incerteza de um modelo de IA generativa sobre o significado da sua resposta. Em vez de tratar cada variação de redação como um resultado diferente, ela agrupa respostas semanticamente equivalentes e mede como a probabilidade está distribuída entre os significados resultantes. Se respostas repetidas expressam uma ideia consistente, a entropia semântica é baixa. Se apoiam várias ideias conflitantes, ela é alta, indicando que o modelo pode não saber qual resposta está correta.

Esta medida é especialmente relevante para um large language model (LLM) ou outro sistema que produz linguagem de forma livre, onde o mesmo significado pode ser expresso através de muitas sequências diferentes de palavras.

Como Funciona a Entropia Semântica#

A entropia é uma medida geral de incerteza em uma distribuição de probabilidade: é baixa quando a probabilidade se concentra em um resultado e alta quando vários resultados permanecem plausíveis. A definição de entropia do NIST fornece o conceito subjacente da teoria da informação. (csrc.nist.gov)

Um fluxo de trabalho de entropia semântica normalmente segue quatro etapas:

1. Gerar várias respostas para a mesma entrada usando amostragem.
2. Agrupar respostas que comunicam o mesmo significado.
3. Estimar a probabilidade de cada significado a partir de sua frequência ou probabilidade de geração.
4. Calcular a entropia entre esses grupos semânticos.

Por exemplo, “Paris”, “A resposta é Paris” e “A capital da França é Paris” pertencem a um grupo de significado. “Lyon” pertence a outro. A entropia lexical pode exagerar a incerteza ao tratar todas as quatro strings como diferentes, enquanto a entropia semântica reconhece que as três primeiras concordam.

A etapa de agrupamento pode usar julgamento humano, inferência textual ou embeddings numéricos combinados com uma medida de similaridade, como a similaridade de cosseno do scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Este exemplo simplificado usa a função de entropia do SciPy documentada. Em um sistema de produção, o agrupamento semântico deve ser validado com cuidado, pois o agrupamento incorreto pode distorcer a pontuação final.

Conceitos Relacionados e Principais Diferenças#

A entropia semântica pertence ao campo mais amplo de quantificação de incerteza, mas ela aborda a incerteza sobre significados e não apenas sobre rótulos, tokens ou previsões numéricas.

• A entropia de tokens mede a incerteza sobre o próximo token ou sequência completa de tokens. Ela pode atribuir alta incerteza a diferenças inofensivas de redação.
• A autoconsistência verifica se gerações repetidas produzem respostas compatíveis. A entropia semântica estende essa ideia ao representar a distribuição relativa de diferentes significados.
• A confiança é geralmente uma pontuação associada a uma única previsão. Em vez disso, a entropia semântica compara múltiplas gerações possíveis. Nenhuma das duas deve ser interpretada automaticamente como uma probabilidade calibrada; a calibração deve ser avaliada em relação aos resultados observados. (scikit-learn.org)
• A alucinação em LLMs é um erro em que o conteúdo gerado é falso, sem suporte ou enganoso. A entropia semântica é um sinal de alerta, não o erro em si. Uma alta entropia pode revelar respostas conflitantes, enquanto uma baixa entropia não prova a correção, pois um modelo pode repetir consistentemente a mesma afirmação falsa. As alucinações podem, portanto, permanecer confiantes e internamente consistentes. (openai.com)
• A segmentação semântica atribui uma classe a cada pixel de imagem. Apesar de compartilhar a palavra “semântica”, é uma tarefa de visão computacional e não tem relação com a entropia sobre significados gerados.

Aplicações no Mundo Real#

Assistentes de perguntas e respostas: Um assistente de atendimento ao cliente pode amostrar várias respostas antes de responder. Se as saídas discordarem sobre se uma garantia cobre danos acidentais, a alta entropia semântica pode acionar a recuperação de documentos, esclarecimento ou revisão humana. Combinado com a geração aumentada por recuperação (RAG), isso reduz a chance de que uma alegação de política sem suporte chegue ao cliente.

Apoio à decisão com visão e linguagem: Um vision-language model (VLM) pode descrever uma imagem industrial como mostrando “corrosão de superfície”, “resíduo de óleo” ou “descoloração normal” em gerações repetidas. Uma alta entropia semântica indica divergência significativa que pode levar a uma decisão de manutenção incorreta. O sistema pode encaminhar a imagem para um inspetor em vez de tratar uma descrição fluente como definitiva.

Uso Prático e Limitações#

A entropia semântica deve ser tratada como um componente de um pipeline de avaliação baseado em risco. As equipes devem testar se pontuações mais altas realmente correspondem a mais erros em seu domínio, selecionar limites de acordo com as consequências dos erros e manter um caminho de abstenção ou revisão humana. O NIST AI Risk Management Framework Core enfatiza a medição da incerteza e a conexão dos resultados da avaliação ao monitoramento contínuo de riscos. (airc.nist.gov)

Ela é mais apropriada para saídas geradas em aberto. Previsões estruturadas de visão computacional exigem métodos de avaliação diferentes: o modo de validação do Ultralytics mede o desempenho em relação a dados rotulados, enquanto a entropia semântica pode avaliar qualquer explicação em texto livre adicionada por um componente multimodal.

As equipes de produção também devem acompanhar distribuições de pontuação, categorias de falha, latência e alterações nos dados de entrada. A orientação do Google sobre monitoramento de sistemas de ML em produção recomenda o registro em log e alertas para desvio de previsão e degradação de qualidade. O monitoramento de implantação da Ultralytics Platform pode dar suporte ao fluxo de trabalho mais amplo de anotação, treinamento, implantação e monitoramento em torno de modelos de visão. A entropia semântica pode identificar casos incertos dentro desse fluxo de trabalho, mas a verificação factual e os testes representativos continuam essenciais.