Semantic Entropy

L'entropie sémantique mesure le degré d'incertitude d'un modèle d'IA générative quant au sens de sa réponse. Au lieu de traiter chaque variante de formulation comme un résultat différent, elle regroupe les réponses sémantiquement équivalentes et mesure comment la probabilité est répartie entre les significations obtenues. Si des réponses répétées expriment une idée cohérente, l'entropie sémantique est faible. Si elles soutiennent plusieurs idées contradictoires, elle est élevée, ce qui indique que le modèle ne sait peut-être pas quelle réponse est correcte.

Cette mesure est particulièrement pertinente pour un modèle linguistique de grande taille (LLM) ou tout autre système produisant du texte libre, où un même sens peut s'exprimer à travers de nombreuses séquences de mots différentes.

Comment fonctionne l'entropie sémantique#

L'entropie est une mesure générale de l'incertitude dans une distribution de probabilité : elle est faible lorsque la probabilité se concentre sur un seul résultat et élevée lorsque plusieurs résultats restent plausibles. La définition de l'entropie par le NIST fournit le concept théorique de l'information sous-jacent. (csrc.nist.gov)

Un flux de travail d'entropie sémantique suit généralement quatre étapes :

1. Générer plusieurs réponses à la même entrée à l'aide de l'échantillonnage.
2. Regrouper les réponses qui expriment le même sens.
3. Estimer la probabilité de chaque sens à partir de sa fréquence ou de sa probabilité de génération.
4. Calculer l'entropie sur ces groupes sémantiques.

Par exemple, « Paris », « La réponse est Paris » et « La capitale de la France est Paris » appartiennent au même groupe de sens. « Lyon » en appartient à un autre. L'entropie lexicale pourrait exagérer l'incertitude en traitant les quatre chaînes comme différentes, tandis que l'entropie sémantique reconnaît que les trois premières concordent.

L'étape de regroupement peut utiliser le jugement humain, l'inférence textuelle ou des embeddings numériques combinés à une mesure de similarité telle que la similarité cosinus de scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Cet exemple simplifié utilise la fonction d'entropie SciPy documentée. Dans un système de production, le regroupement sémantique doit être validé avec soin, car un regroupement incorrect peut fausser le score final.

Concepts associés et différences clés#

L'entropie sémantique appartient au domaine plus large de la quantification de l'incertitude, mais elle traite l'incertitude sur les significations plutôt que sur de simples étiquettes, jetons ou prédictions numériques.

• L'entropie des jetons mesure l'incertitude sur le jeton suivant ou sur la séquence complète de jetons. Elle peut attribuer une incertitude élevée à des différences de formulation inoffensives.
• La cohérence interne vérifie si des générations répétées produisent des réponses compatibles. L'entropie sémantique étend cette idée en représentant la distribution relative de différentes significations.
• La confiance est généralement un score associé à une seule prédiction. L'entropie sémantique compare quant à elle plusieurs générations possibles. Aucune des deux ne doit être automatiquement interprétée comme une probabilité calibrée ; la calibration doit être évaluée par rapport aux résultats observés. (scikit-learn.org)
• Les hallucinations dans les LLM désignent une erreur dans laquelle le contenu généré est faux, non fondé ou trompeur. L'entropie sémantique est un signal d'alerte, et non l'erreur en soi. Une entropie élevée peut révéler des réponses contradictoires, tandis qu'une entropie faible ne prouve pas l'exactitude, car un modèle peut répéter constamment la même fausse affirmation. Les hallucinations peuvent ainsi rester confiantes et cohérentes en interne. (openai.com)
• La segmentation sémantique attribue une classe à chaque pixel d'une image. Malgré le partage du mot « sémantique », il s'agit d'une tâche de vision par ordinateur qui n'a aucun rapport avec l'entropie sur des significations générées.

Applications concrètes#

Assistants de questions-réponses : Un assistant de support client peut échantillonner plusieurs réponses avant de répondre. Si les sorties ne concordent pas sur le fait qu'une garantie couvre ou non les dommages accidentels, une entropie sémantique élevée peut déclencher la recherche de documents, une demande de clarification ou une révision humaine. Combiné à la génération augmentée par récupération (RAG), cela réduit le risque qu'une affirmation de politique non fondée parvienne au client.

Aide à la décision en vision-langage : Un modèle vision-langage (VLM) peut décrire une image industrielle comme montrant « une corrosion de surface », « des résidus d'huile » ou « une décoloration normale » au fil de générations répétées. Une entropie sémantique élevée indique un désaccord significatif qui pourrait conduire à une décision de maintenance erronée. Le système peut acheminer l'image vers un inspecteur au lieu de traiter une seule description fluide comme définitive.

Utilisation pratique et limitations#

L'entropie sémantique doit être traitée comme un composant d'un pipeline d'évaluation fondé sur les risques. Les équipes doivent tester si des scores plus élevés correspondent effectivement à un plus grand nombre d'erreurs dans leur domaine, sélectionner les seuils en fonction des conséquences des erreurs et conserver une voie d'abstention ou de révision humaine. Le cadre de gestion des risques liés à l'IA du NIST (NIST AI Risk Management Framework Core) met l'accent sur la mesure de l'incertitude et la mise en relation des résultats d'évaluation avec le suivi continu des risques. (airc.nist.gov)

Elle est particulièrement adaptée aux sorties générées ouvertes. Les prédictions structurées de vision par ordinateur nécessitent d'autres méthodes d'évaluation : le mode de validation d'Ultralytics mesure les performances par rapport à des données étiquetées, tandis que l'entropie sémantique peut évaluer toute explication en texte libre ajoutée par un composant multimodal.

Les équipes de production doivent également suivre les distributions de scores, les catégories d'échecs, la latence et les changements dans les données d'entrée. Les recommandations de Google sur la surveillance des systèmes de ML en production conseillent de consigner dans les journaux et de configurer des alertes pour la dérive des prédictions et la dégradation de la qualité. La surveillance du déploiement de la plateforme Ultralytics peut prendre en charge le flux de travail plus large d'annotation, d'entraînement, de déploiement et de surveillance autour des modèles de vision. L'entropie sémantique peut identifier les cas incertains au sein de ce flux de travail, mais la vérification factuelle et les tests représentatifs restent essentiels.