Semantic Entropy

La entropía semántica mide la incertidumbre de un modelo de IA generativa sobre el significado de su respuesta. En lugar de tratar cada variación de redacción como un resultado distinto, agrupa las respuestas semánticamente equivalentes y mide cómo se distribuye la probabilidad entre los significados resultantes. Si las respuestas repetidas expresan una idea coherente, la entropía semántica es baja. Si respaldan varias ideas contradictorias, es alta, lo que indica que el modelo quizá no sepa cuál es la respuesta correcta.

Esta medida es especialmente relevante para un modelo de lenguaje grande (LLM) u otro sistema que genere lenguaje de forma libre, donde un mismo significado puede expresarse mediante muchas secuencias de palabras diferentes.

Cómo funciona la entropía semántica#

La entropía es una medida general de la incertidumbre en una distribución de probabilidad: es baja cuando la probabilidad se concentra en un resultado y alta cuando siguen siendo plausibles varios resultados. La definición de entropía del NIST ofrece el concepto fundamental de la teoría de la información. (csrc.nist.gov)

Un flujo de trabajo de entropía semántica suele constar de cuatro pasos:

1. Genera varias respuestas a la misma entrada mediante muestreo.
2. Agrupa las respuestas que comunican el mismo significado.
3. Estima la probabilidad de cada significado a partir de su frecuencia o de su probabilidad de generación.
4. Calcula la entropía de esos grupos semánticos.

Por ejemplo, «París», «La respuesta es París» y «La capital de Francia es París» pertenecen a un mismo grupo de significados. «Lyon» pertenece a otro. La entropía léxica podría exagerar la incertidumbre al tratar las cuatro cadenas como diferentes, mientras que la entropía semántica reconoce que las tres primeras coinciden.

La fase de agrupación puede basarse en el criterio humano, la implicación textual o los embeddings numéricos combinados con una medida de similitud, como la similitud coseno de scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Este ejemplo simplificado utiliza la función de entropía documentada de SciPy. En un sistema de producción, la agrupación semántica debe validarse cuidadosamente, ya que una agrupación incorrecta puede distorsionar la puntuación final.

Conceptos relacionados y diferencias clave#

La entropía semántica forma parte del campo más amplio de la cuantificación de la incertidumbre, pero aborda la incertidumbre sobre los significados, no solo sobre etiquetas, tokens o predicciones numéricas.

• Entropía de tokens mide la incertidumbre sobre el siguiente token o sobre una secuencia completa de tokens. Puede asignar una incertidumbre alta a diferencias de redacción inocuas.
• Consistencia propia comprueba si las generaciones repetidas producen respuestas compatibles. La entropía semántica amplía esta idea al representar la distribución relativa de distintos significados.
• La confianza suele ser una puntuación asociada a una predicción. En cambio, la entropía semántica compara varias generaciones posibles. Ninguna de las dos debe interpretarse automáticamente como una probabilidad calibrada; la calibración debe evaluarse frente a resultados observados. (scikit-learn.org)
• La alucinación en LLM es un error por el que el contenido generado es falso, carece de respaldo o resulta engañoso. La entropía semántica es una señal de alerta, no el error en sí. Una entropía alta puede revelar respuestas contradictorias, mientras que una entropía baja no demuestra que sean correctas, porque un modelo puede repetir sistemáticamente la misma afirmación falsa. Por tanto, las alucinaciones pueden seguir pareciendo seguras y ser internamente coherentes. (openai.com)
• La segmentación semántica asigna una clase a cada píxel de una imagen. Aunque comparte la palabra «semántica», es una tarea de visión artificial y no está relacionada con la entropía de los significados generados.

Aplicaciones en el mundo real#

Asistentes de preguntas y respuestas: Un asistente de atención al cliente puede muestrear varias respuestas antes de contestar. Si las respuestas discrepan sobre si una garantía cubre los daños accidentales, una entropía semántica alta puede activar la recuperación de documentos, una solicitud de aclaración o una revisión humana. Combinada con la generación aumentada por recuperación (RAG), reduce la probabilidad de que llegue al cliente una afirmación sobre la política sin respaldo.

Sistemas de apoyo a la toma de decisiones basados en visión y lenguaje: Un modelo de visión y lenguaje (VLM) podría describir una imagen industrial como «corrosión superficial», «residuos de aceite» o «decoloración normal» en distintas generaciones. Una entropía semántica alta indica un desacuerdo significativo que podría llevar a una decisión de mantenimiento incorrecta. El sistema puede derivar la imagen a un inspector en lugar de tratar una descripción fluida como definitiva.

Uso práctico y limitaciones#

La entropía semántica debe tratarse como un componente de un flujo de evaluación basado en el riesgo. Los equipos deben comprobar si las puntuaciones más altas se corresponden realmente con más errores en su dominio, elegir umbrales en función de las consecuencias de equivocarse y mantener una opción de abstención o revisión humana. El núcleo del Marco de Gestión de Riesgos de IA del NIST destaca la importancia de medir la incertidumbre y vincular los resultados de la evaluación con la supervisión continua de los riesgos. (airc.nist.gov)

Es más adecuada para resultados generados abiertos. Las predicciones estructuradas de visión artificial requieren otros métodos de evaluación: el modo de validación de Ultralytics mide el rendimiento frente a datos etiquetados, mientras que la entropía semántica puede evaluar cualquier explicación en texto libre que añada un componente multimodal.

Los equipos de producción también deben hacer un seguimiento de las distribuciones de puntuaciones, las categorías de errores, la latencia y los cambios en los datos de entrada. Las directrices de Google sobre la supervisión de sistemas de ML en producción recomiendan registrar datos y configurar alertas para detectar cambios en las predicciones y una degradación de la calidad. La supervisión de despliegues de Ultralytics Platform puede respaldar el flujo de trabajo más amplio de anotación, entrenamiento, despliegue y supervisión de modelos de visión. La entropía semántica puede identificar casos inciertos dentro de ese flujo, pero la verificación de los hechos y las pruebas representativas siguen siendo esenciales.