Semantic Entropy
L’entropie sémantique mesure l’incertitude d’un LLM quant au sens de ses réponses échantillonnées plutôt qu’à leur formulation, afin de repérer les confabulations probables.
L’entropie sémantique mesure l’incertitude d’un grand modèle de langage (LLM) quant au sens de sa réponse. Elle se calcule en échantillonnant plusieurs réponses à la même question, en regroupant celles qui expriment la même idée, puis en calculant l’entropie des groupes. Si dix échantillons formulent une réponse de dix façons, l’entropie sémantique est nulle ; s’ils donnent trois réponses différentes, elle est élevée et le modèle est probablement en train de deviner. Lorenz Kuhn, Yarin Gal et Sebastian Farquhar, de l’Université d’Oxford, l’ont présentée à ICLR 2023 dans Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation. Un article de Nature publié en 2024 par Farquhar, Jannik Kossen, Kuhn et Gal l’a appliquée à la détection des hallucinations.
L’article de Nature cible un type d’hallucination qu’il appelle fabulation : des affirmations à la fois fausses et arbitraires, qui changent selon la graine aléatoire utilisée pour l’échantillonnage. L’entropie ordinaire calculée sur les jetons générés ne permet pas de l’isoler, car « Paris », « C’est Paris » et « La capitale est Paris » sont des séquences de jetons différentes qui ont le même sens. Un modèle connaissant la réponse semble donc tout de même incertain.
Calcul de l’entropie sémantique#
- Échantillonner environ 10 réponses à la même invite avec une température d’échantillonnage non nulle.
- Regrouper les réponses selon l’implication bidirectionnelle : deux réponses ont le même sens si chacune implique l’autre, comme l’évalue un modèle d’inférence en langage naturel tel que DeBERTa-large-MNLI ou un LLM généraliste — GPT-3.5 dans les principales expériences de l’article de Nature. Cette étape relève de la compréhension du langage naturel (NLU).
- Estimer la probabilité de chaque groupe en additionnant les probabilités des séquences correspondant à ses réponses ou, lorsqu’une API fermée masque les probabilités des jetons, en calculant la proportion d’échantillons du groupe. Cette variante s’appelle entropie sémantique discrète.
- Calculer l’entropie à partir des probabilités des groupes.
L’entropie sémantique discrète ne nécessite que les réponses et leurs groupes. L’extrait ci-dessous la compare à l’entropie naïve calculée sur les chaînes brutes, pour deux questions dont les réponses sont regroupées comme le ferait un modèle d’implication :
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")Les deux questions produisent quatre chaînes distinctes sur cinq échantillons ; l’entropie naïve vaut donc 1.92 bit pour chacune. L’entropie sémantique les distingue : 0.00 bit pour la capitale, car chaque échantillon désigne Canberra, et 1.37 bit pour l’année de fondation, car les échantillons mêlent 1913, l’année correcte, à 1908, lorsque le site a été choisi, et à 1927, lorsque le Parlement s’y est installé.
Résultats et limites#
Sur 30 combinaisons de jeux de données de réponse aux questions (TriviaQA, SQuAD, BioASQ, NQ-Open et SVAMP) et de modèles (LLaMA 2 Chat, Falcon Instruct et Mistral Instruct), l’entropie sémantique a distingué les réponses fausses des bonnes avec une aire moyenne sous la courbe ROC (AUROC) de 0.790, contre 0.691 pour l’entropie naïve et 0.698 pour P(True), qui demande au modèle si sa propre réponse est correcte. Pour des biographies rédigées par GPT-4 sur 21 personnes et réparties en 150 affirmations factuelles, dont 45 étaient fausses, l’entropie sémantique discrète a également mieux repéré les affirmations fausses que les deux méthodes de référence.
La méthode a des limites évidentes :
- Coût : Environ 10 générations et des vérifications d’implication par paires pour chaque question. Les sondes d’entropie sémantique, présentées par Kossen et ses collègues en 2024, réduisent ce nombre à une génération en prédisant l’entropie sémantique à partir des états cachés du modèle.
- Erreurs cohérentes : Un modèle qui a appris une idée fausse à partir de ses données d’entraînement donne la même mauvaise réponse à chaque fois ; l’entropie sémantique reste donc faible. Seule une vérification avec des sources externes, comme dans la génération augmentée par récupération (RAG), permet de révéler l’erreur.
- Réponses longues : Les paragraphes sont d’abord divisés en affirmations individuelles, comme dans l’expérience sur les biographies, avant que leur sens puisse être comparé.
L’entropie sémantique est un outil de quantification de l’incertitude pour les textes. La perplexité mesure à quel point un texte fixe est prévisible pour un modèle, l’autocohérence procède à un vote majoritaire parmi les réponses échantillonnées de chaîne de raisonnement, et la prédiction conforme transforme ces scores en ensembles à couverture garantie. Des benchmarks comme Humanity’s Last Exam mesurent le même écart depuis l’autre point de vue, en comparant le niveau de confiance affiché par les modèles à leur taux de réussite.
La même vérification s’applique aux modèles vision-langage (VLM) qui décrivent les détections d’un modèle. L’interface LLM d’Ultralytics envoie une image et une question à n’importe quel modèle compatible avec OpenAI et transmet les arguments de la requête sans les modifier. Un pipeline peut donc poser plusieurs fois la même question au sujet d’une image où YOLO26 a détecté un objet d’intérêt, puis regrouper les descriptions obtenues.










