Semantic Entropy
La entropía semántica mide la incertidumbre de un LLM sobre el significado de sus respuestas muestreadas, en lugar de sobre su redacción, y señala posibles confabulaciones.
La entropía semántica mide la incertidumbre de un modelo de lenguaje grande (LLM) sobre el significado de su respuesta. Se calcula generando varias respuestas a la misma pregunta, agrupando las que dicen lo mismo y calculando la entropía de los grupos. Si diez muestras expresan una respuesta de diez maneras distintas, la entropía semántica es cero; si dan tres respuestas diferentes, es alta y es probable que el modelo esté adivinando. Lorenz Kuhn, Yarin Gal y Sebastian Farquhar, de la Universidad de Oxford, la presentaron en ICLR 2023 en Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation. En 2024, Farquhar, Jannik Kossen, Kuhn y Gal la aplicaron a la detección de alucinaciones en un artículo de Nature.
El artículo de Nature se centra en un tipo de alucinación que denomina confabulación: afirmaciones que son falsas y arbitrarias a la vez, y que cambian según la semilla aleatoria utilizada para el muestreo. La entropía normal de los tokens generados no permite aislarla, porque «París», «Es París» y «La capital es París» son secuencias de tokens distintas con el mismo significado, por lo que un modelo que conoce la respuesta sigue pareciendo inseguro.
Cómo se calcula la entropía semántica#
- Genera unas 10 respuestas a la misma instrucción con una temperatura de muestreo distinta de cero.
- Agrupa las respuestas según la implicación mutua: dos respuestas comparten significado si cada una implica la otra, a juicio de un modelo de inferencia de lenguaje natural como DeBERTa-large-MNLI o de un LLM general, que fue GPT-3.5 en los experimentos principales de Nature. Este paso es una forma de comprensión del lenguaje natural (NLU).
- Estima la probabilidad de cada grupo sumando las probabilidades de secuencia de sus respuestas o, cuando una API cerrada oculta las probabilidades de los tokens, calculando la proporción de muestras del grupo; esta variante se denomina entropía semántica discreta.
- Calcula la entropía de las probabilidades de los grupos.
La entropía semántica discreta solo necesita las respuestas y sus grupos. El fragmento siguiente la compara con la entropía ingenua de las cadenas sin procesar para dos preguntas, con los grupos asignados como lo haría un modelo de implicación:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")Ambas preguntas producen cuatro cadenas distintas entre cinco muestras, así que la entropía ingenua es de 1,92 bits en cada caso. La entropía semántica las distingue: 0,00 bits para la capital, donde todas las muestras se refieren a Canberra, y 1,37 bits para el año de fundación, donde las muestras alternan entre 1913, el año correcto; 1908, cuando se eligió el lugar; y 1927, cuando se trasladó allí el Parlamento.
Resultados y limitaciones#
En 30 combinaciones de conjuntos de datos de respuesta a preguntas (TriviaQA, SQuAD, BioASQ, NQ-Open y SVAMP) y modelos (LLaMA 2 Chat, Falcon Instruct y Mistral Instruct), la entropía semántica distinguió las respuestas incorrectas de las correctas con un promedio de área bajo la curva ROC (AUROC) de 0,790, frente a 0,691 para la entropía ingenua y 0,698 para P(True), que pregunta al modelo si su propia respuesta es correcta. En las biografías que GPT-4 redactó sobre 21 personas, divididas en 150 afirmaciones fácticas, 45 de ellas incorrectas, la entropía semántica discreta también superó a ambas referencias al detectar las afirmaciones falsas.
El método tiene limitaciones claras:
- Coste: Unas 10 generaciones y comprobaciones de implicación por pares para cada pregunta. Las sondas de entropía semántica, presentadas por Kossen y sus colegas en 2024, reducen el proceso a una generación al predecir la entropía semántica a partir de los estados ocultos del modelo.
- Errores sistemáticos: Si un modelo ha aprendido una idea equivocada a partir de sus datos de entrenamiento, dará la misma respuesta incorrecta cada vez, así que la entropía semántica seguirá siendo baja; solo una comprobación con fuentes externas, como la generación aumentada por recuperación (RAG), revelará el error.
- Respuestas largas: Primero se dividen los párrafos en afirmaciones individuales, como en el experimento de las biografías, antes de poder comparar sus significados.
La entropía semántica es una herramienta de cuantificación de la incertidumbre para texto. La perplejidad mide hasta qué punto un modelo puede predecir un texto fijo; la autoconsistencia obtiene una respuesta por mayoría a partir de respuestas muestreadas de cadena de pensamiento, y la predicción conformal convierte puntuaciones como estas en conjuntos con una cobertura garantizada. Benchmarks como Humanity's Last Exam miden la misma discrepancia desde el otro lado, comparando la confianza que expresan los modelos con la frecuencia con la que aciertan.
La misma comprobación se aplica a los modelos de visión y lenguaje (VLM) que describen lo que ha encontrado un detector. La interfaz LLM de Ultralytics envía una imagen y una pregunta a cualquier modelo compatible con OpenAI y reenvía los argumentos de la solicitud sin modificarlos. Así, una canalización puede formular varias veces la misma pregunta sobre una imagen en la que YOLO26 haya detectado un objeto de interés y agrupar las descripciones recibidas.










