Semantic Entropy

La entropía semántica mide cuán incierto es un modelo de IA generativa sobre el significado de su respuesta. En lugar de tratar cada variación de redacción como un resultado diferente, agrupa las respuestas semánticamente equivalentes y mide cómo se distribuye la probabilidad entre los significados resultantes. Si las respuestas repetidas expresan una idea coherente, la entropía semántica es baja. Si respaldan varias ideas contradictorias, es alta, lo que indica que el modelo puede no saber qué respuesta es la correcta.

Esta medida es especialmente relevante para un large language model (LLM) u otro sistema que produzca lenguaje de formato libre, donde un mismo significado se puede expresar mediante muchas secuencias diferentes de palabras.

Cómo funciona la entropía semántica#

La entropía es una medida general de la incertidumbre en una distribución de probabilidad: es baja cuando la probabilidad se concentra en un resultado y alta cuando varios resultados siguen siendo plausibles. La NIST definition of entropy proporciona el concepto teórico de la información subyacente. (csrc.nist.gov)

Un flujo de trabajo de entropía semántica normalmente sigue cuatro pasos:

1. Genera varias respuestas a la misma entrada utilizando el muestreo.
2. Agrupa las respuestas que comunican el mismo significado.
3. Estima la probabilidad de cada significado a partir de su frecuencia o probabilidad de generación.
4. Calcula la entropía entre esos grupos semánticos.

Por ejemplo, «París», «La respuesta es París» y «La capital de Francia es París» pertenecen a un mismo grupo de significado. «Lyon» pertenece a otro. La entropía léxica podría exagerar la incertidumbre al tratar las cuatro cadenas como diferentes, mientras que la entropía semántica reconoce que las tres primeras coinciden.

La fase de agrupación puede utilizar el juicio humano, la implicación textual o embeddings numéricos combinados con una medida de similitud como scikit-learn cosine similarity.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Este ejemplo simplificado utiliza la documentada SciPy entropy function. En un sistema de producción, la agrupación semántica debe validarse cuidadosamente porque una agrupación incorrecta puede distorsionar la puntuación final.

Conceptos relacionados y diferencias clave#

La entropía semántica pertenece al campo más amplio de la uncertainty quantification, pero aborda la incertidumbre sobre los significados en lugar de limitarse a etiquetas, tokens o predicciones numéricas.

• Token entropy mide la incertidumbre sobre el siguiente token o la secuencia completa de tokens. Puede asignar una alta incertidumbre a diferencias inofensivas de redacción.
• Self-consistency comprueba si las generaciones repetidas producen respuestas compatibles. La entropía semántica amplía esta idea representando la distribución relativa de diferentes significados.
• Confidence suele ser una puntuación asociada a una predicción. La entropía semántica, en cambio, compara múltiples generaciones posibles. Ninguna de las dos debe interpretarse automáticamente como una probabilidad calibrada; la calibración debe evaluarse frente a los resultados observados. (scikit-learn.org)
• Hallucination in LLMs es un error en el cual el contenido generado es falso, no está respaldado o resulta engañoso. La entropía semántica es una señal de advertencia, no el error en sí mismo. Una entropía alta puede revelar respuestas contradictorias, mientras que una entropía baja no demuestra la corrección, ya que un modelo puede repetir consistentemente la misma afirmación falsa. Por lo tanto, las alucinaciones pueden seguir siendo seguras de sí mismas e internamente coherentes. (openai.com)
• Semantic segmentation asigna una clase a cada píxel de la imagen. A pesar de compartir la palabra «semántica», es una tarea de visión artificial y no está relacionada con la entropía sobre los significados generados.

Aplicaciones en el mundo real#

Asistentes de preguntas y respuestas: Un asistente de atención al cliente puede tomar muestras de varias respuestas antes de responder. Si las salidas no están de acuerdo sobre si una garantía cubre los daños accidentales, una alta entropía semántica puede activar la recuperación de documentos, la aclaración o la revisión humana. Combinado con el retrieval-augmented generation (RAG), esto reduce la probabilidad de que una afirmación de política no respaldada llegue al cliente.

Soporte de decisiones de visión y lenguaje: Un vision-language model (VLM) podría describir una imagen industrial como muestra de «corrosión superficial», «residuos de aceite» o «decoloración normal» en varias generaciones repetidas. Una alta entropía semántica indica un desacuerdo significativo que podría llevar a una decisión de mantenimiento incorrecta. El sistema puede derivar la imagen a un inspector en lugar de tratar una descripción fluida como definitiva.

Uso práctico y limitaciones#

La entropía semántica debe considerarse un componente de una canalización de evaluación basada en riesgos. Los equipos deben comprobar si las puntuaciones más altas se corresponden realmente con más errores en su dominio, seleccionar los umbrales según las consecuencias de los errores y mantener una ruta de abstención o revisión humana. El NIST AI Risk Management Framework Core enfatiza la medición de la incertidumbre y la conexión de los resultados de la evaluación con el monitoreo continuo de riesgos. (airc.nist.gov)

Es más adecuada para salidas generadas de extremo abierto. Las predicciones estructuradas de visión artificial requieren otros métodos de evaluación: Ultralytics validation mode mide el rendimiento frente a datos etiquetados, mientras que la entropía semántica puede evaluar cualquier explicación de texto libre añadida por un componente multimodal.

Los equipos de producción también deben realizar un seguimiento de las distribuciones de puntuaciones, las categorías de errores, la latencia y los cambios en los datos de entrada. La guía de Google sobre monitoring production ML systems recomienda el registro y las alertas para la deriva de predicciones y la degradación de la calidad. Ultralytics Platform deployment monitoring puede respaldar el flujo de trabajo más amplio de anotación, entrenamiento, implementación y monitoreo en torno a los modelos de visión. La entropía semántica puede identificar casos inciertos dentro de ese flujo de trabajo, pero la verificación de hechos y las pruebas representativas siguen siendo esenciales.