Licencia YOLO
Volver al glosario de Ultralytics

Semantic Entropy

La entropía semántica mide la incertidumbre de un LLM sobre el significado de sus respuestas muestreadas, en lugar de sobre su redacción, y señala posibles confabulaciones.

La entropía semántica mide la incertidumbre de un modelo de lenguaje grande (LLM) sobre el significado de su respuesta. Se calcula generando varias respuestas a la misma pregunta, agrupando las que dicen lo mismo y calculando la entropía de los grupos. Si diez muestras expresan una respuesta de diez maneras distintas, la entropía semántica es cero; si dan tres respuestas diferentes, es alta y es probable que el modelo esté adivinando. Lorenz Kuhn, Yarin Gal y Sebastian Farquhar, de la Universidad de Oxford, la presentaron en ICLR 2023 en Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation. En 2024, Farquhar, Jannik Kossen, Kuhn y Gal la aplicaron a la detección de alucinaciones en un artículo de Nature.

El artículo de Nature se centra en un tipo de alucinación que denomina confabulación: afirmaciones que son falsas y arbitrarias a la vez, y que cambian según la semilla aleatoria utilizada para el muestreo. La entropía normal de los tokens generados no permite aislarla, porque «París», «Es París» y «La capital es París» son secuencias de tokens distintas con el mismo significado, por lo que un modelo que conoce la respuesta sigue pareciendo inseguro.

Cómo se calcula la entropía semántica#

  1. Genera unas 10 respuestas a la misma instrucción con una temperatura de muestreo distinta de cero.
  2. Agrupa las respuestas según la implicación mutua: dos respuestas comparten significado si cada una implica la otra, a juicio de un modelo de inferencia de lenguaje natural como DeBERTa-large-MNLI o de un LLM general, que fue GPT-3.5 en los experimentos principales de Nature. Este paso es una forma de comprensión del lenguaje natural (NLU).
  3. Estima la probabilidad de cada grupo sumando las probabilidades de secuencia de sus respuestas o, cuando una API cerrada oculta las probabilidades de los tokens, calculando la proporción de muestras del grupo; esta variante se denomina entropía semántica discreta.
  4. Calcula la entropía de las probabilidades de los grupos.

La entropía semántica discreta solo necesita las respuestas y sus grupos. El fragmento siguiente la compara con la entropía ingenua de las cadenas sin procesar para dos preguntas, con los grupos asignados como lo haría un modelo de implicación:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Ambas preguntas producen cuatro cadenas distintas entre cinco muestras, así que la entropía ingenua es de 1,92 bits en cada caso. La entropía semántica las distingue: 0,00 bits para la capital, donde todas las muestras se refieren a Canberra, y 1,37 bits para el año de fundación, donde las muestras alternan entre 1913, el año correcto; 1908, cuando se eligió el lugar; y 1927, cuando se trasladó allí el Parlamento.

Resultados y limitaciones#

En 30 combinaciones de conjuntos de datos de respuesta a preguntas (TriviaQA, SQuAD, BioASQ, NQ-Open y SVAMP) y modelos (LLaMA 2 Chat, Falcon Instruct y Mistral Instruct), la entropía semántica distinguió las respuestas incorrectas de las correctas con un promedio de área bajo la curva ROC (AUROC) de 0,790, frente a 0,691 para la entropía ingenua y 0,698 para P(True), que pregunta al modelo si su propia respuesta es correcta. En las biografías que GPT-4 redactó sobre 21 personas, divididas en 150 afirmaciones fácticas, 45 de ellas incorrectas, la entropía semántica discreta también superó a ambas referencias al detectar las afirmaciones falsas.

El método tiene limitaciones claras:

  • Coste: Unas 10 generaciones y comprobaciones de implicación por pares para cada pregunta. Las sondas de entropía semántica, presentadas por Kossen y sus colegas en 2024, reducen el proceso a una generación al predecir la entropía semántica a partir de los estados ocultos del modelo.
  • Errores sistemáticos: Si un modelo ha aprendido una idea equivocada a partir de sus datos de entrenamiento, dará la misma respuesta incorrecta cada vez, así que la entropía semántica seguirá siendo baja; solo una comprobación con fuentes externas, como la generación aumentada por recuperación (RAG), revelará el error.
  • Respuestas largas: Primero se dividen los párrafos en afirmaciones individuales, como en el experimento de las biografías, antes de poder comparar sus significados.

La entropía semántica es una herramienta de cuantificación de la incertidumbre para texto. La perplejidad mide hasta qué punto un modelo puede predecir un texto fijo; la autoconsistencia obtiene una respuesta por mayoría a partir de respuestas muestreadas de cadena de pensamiento, y la predicción conformal convierte puntuaciones como estas en conjuntos con una cobertura garantizada. Benchmarks como Humanity's Last Exam miden la misma discrepancia desde el otro lado, comparando la confianza que expresan los modelos con la frecuencia con la que aciertan.

La misma comprobación se aplica a los modelos de visión y lenguaje (VLM) que describen lo que ha encontrado un detector. La interfaz LLM de Ultralytics envía una imagen y una pregunta a cualquier modelo compatible con OpenAI y reenvía los argumentos de la solicitud sin modificarlos. Así, una canalización puede formular varias veces la misma pregunta sobre una imagen en la que YOLO26 haya detectado un objeto de interés y agrupar las descripciones recibidas.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático