Semantic Entropy

L’entropie sémantique mesure à quel point un modèle d’IA générative est incertain quant au sens de sa réponse. Au lieu de considérer chaque variation de formulation comme un résultat distinct, elle regroupe les réponses sémantiquement équivalentes et mesure la dispersion des probabilités entre les sens obtenus. Si des réponses répétées expriment une idée cohérente, l’entropie sémantique est faible. Si elles défendent plusieurs idées contradictoires, elle est élevée, ce qui indique que le modèle ne sait peut-être pas quelle réponse est correcte.

Cette mesure est particulièrement pertinente pour un grand modèle de langage (LLM) ou tout autre système qui produit du langage libre, où un même sens peut être exprimé par de nombreuses séquences de mots différentes.

Fonctionnement de l’entropie sémantique#

L’entropie est une mesure générale de l’incertitude d’une distribution de probabilité : elle est faible lorsque la probabilité se concentre sur un résultat et élevée lorsque plusieurs résultats restent plausibles. La définition de l’entropie du NIST fournit le concept sous-jacent de la théorie de l’information. (csrc.nist.gov)

Un processus d’entropie sémantique suit généralement quatre étapes :

1. Génère plusieurs réponses à la même entrée à l’aide de l’échantillonnage.
2. Regroupe les réponses qui communiquent le même sens.
3. Estime la probabilité de chaque sens à partir de sa fréquence ou de sa probabilité de génération.
4. Calcule l’entropie de ces groupes sémantiques.

Par exemple, « Paris », « La réponse est Paris » et « Paris est la capitale de la France » appartiennent à un même groupe de sens. « Lyon » appartient à un autre groupe. L’entropie lexicale pourrait exagérer l’incertitude en considérant les quatre chaînes comme différentes, alors que l’entropie sémantique reconnaît que les trois premières concordent.

L’étape de regroupement peut s’appuyer sur le jugement humain, l’implication textuelle ou des représentations vectorielles numériques combinées à une mesure de similarité telle que la similarité cosinus de scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Cet exemple simplifié utilise la fonction d’entropie documentée de SciPy. Dans un système de production, le regroupement sémantique doit être soigneusement validé, car un regroupement incorrect peut fausser le score final.

Concepts connexes et différences essentielles#

L’entropie sémantique relève du domaine plus large de la quantification de l’incertitude, mais elle porte sur l’incertitude des sens plutôt que sur celle des seules étiquettes, des jetons ou des prédictions numériques.

• L’entropie des jetons mesure l’incertitude sur le jeton suivant ou sur une séquence complète de jetons. Elle peut attribuer une incertitude élevée à des différences de formulation sans conséquence.
• La cohérence interne vérifie si des générations répétées produisent des réponses compatibles. L’entropie sémantique prolonge cette idée en représentant la distribution relative des différents sens.
• La confiance est généralement un score associé à une prédiction. L’entropie sémantique compare plutôt plusieurs générations possibles. Aucune des deux ne doit automatiquement être interprétée comme une probabilité calibrée ; la calibration doit être évaluée à partir des résultats observés. (scikit-learn.org)
• Les hallucinations des LLM sont des erreurs dans lesquelles le contenu généré est faux, non étayé ou trompeur. L’entropie sémantique est un signal d’alerte, pas l’erreur elle-même. Une entropie élevée peut révéler des réponses contradictoires, tandis qu’une entropie faible ne prouve pas que les réponses sont correctes, car un modèle peut répéter constamment la même affirmation fausse. Les hallucinations peuvent donc rester affirmées et cohérentes en interne. (openai.com)
• La segmentation sémantique attribue une classe à chaque pixel d’une image. Malgré le mot « sémantique » qu’elles ont en commun, il s’agit d’une tâche de vision par ordinateur sans rapport avec l’entropie des sens générés.

Applications concrètes#

Assistants de questions-réponses : un assistant du service client peut échantillonner plusieurs réponses avant de répondre. Si les résultats divergent sur le fait qu’une garantie couvre ou non les dommages accidentels, une entropie sémantique élevée peut déclencher la récupération de documents, une demande de précision ou une vérification humaine. Associée à la génération augmentée par récupération (RAG), cette approche réduit le risque qu’une affirmation non étayée sur une politique soit communiquée au client.

Aide à la décision fondée sur la vision et le langage : un modèle de vision-langage (VLM) peut décrire une image industrielle comme montrant une « corrosion de surface », des « résidus d’huile » ou une « décoloration normale » au fil de générations répétées. Une entropie sémantique élevée indique un désaccord significatif susceptible d’entraîner une décision de maintenance incorrecte. Le système peut transmettre l’image à un inspecteur au lieu de considérer une description fluide comme définitive.

Utilisation pratique et limites#

L’entropie sémantique doit être considérée comme un élément d’un processus d’évaluation fondé sur les risques. Les équipes doivent vérifier si des scores plus élevés correspondent réellement à davantage d’erreurs dans leur domaine, choisir les seuils en fonction des conséquences des erreurs et prévoir une possibilité de s’abstenir ou de demander une vérification humaine. Le référentiel central du cadre de gestion des risques liés à l’IA du NIST souligne l’importance de mesurer l’incertitude et de relier les résultats de l’évaluation au suivi continu des risques. (airc.nist.gov)

Cette méthode convient surtout aux sorties générées ouvertes. Les prédictions structurées en vision par ordinateur nécessitent d’autres méthodes d’évaluation : le mode de validation d’Ultralytics mesure les performances par rapport à des données annotées, tandis que l’entropie sémantique peut évaluer toute explication en texte libre ajoutée par un composant multimodal.

Les équipes de production doivent également suivre les distributions de scores, les catégories d’échec, la latence et les changements dans les données d’entrée. Les recommandations de Google sur la surveillance des systèmes de ML en production préconisent la journalisation et les alertes en cas de dérive des prédictions et de dégradation de la qualité. La surveillance des déploiements sur Ultralytics Platform peut soutenir le processus plus global d’annotation, d’entraînement, de déploiement et de surveillance des modèles de vision. L’entropie sémantique peut repérer les cas incertains au sein de ce processus, mais la vérification factuelle et les tests représentatifs restent essentiels.