Licence YOLO
Retour au glossaire Ultralytics

Semantic Entropy

L’entropie sémantique mesure l’incertitude d’un LLM quant au sens de ses réponses échantillonnées plutôt qu’à leur formulation, afin de repérer les confabulations probables.

L’entropie sémantique mesure l’incertitude d’un grand modèle de langage (LLM) quant au sens de sa réponse. Elle se calcule en échantillonnant plusieurs réponses à la même question, en regroupant celles qui expriment la même idée, puis en calculant l’entropie des groupes. Si dix échantillons formulent une réponse de dix façons, l’entropie sémantique est nulle ; s’ils donnent trois réponses différentes, elle est élevée et le modèle est probablement en train de deviner. Lorenz Kuhn, Yarin Gal et Sebastian Farquhar, de l’Université d’Oxford, l’ont présentée à ICLR 2023 dans Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation. Un article de Nature publié en 2024 par Farquhar, Jannik Kossen, Kuhn et Gal l’a appliquée à la détection des hallucinations.

L’article de Nature cible un type d’hallucination qu’il appelle fabulation : des affirmations à la fois fausses et arbitraires, qui changent selon la graine aléatoire utilisée pour l’échantillonnage. L’entropie ordinaire calculée sur les jetons générés ne permet pas de l’isoler, car « Paris », « C’est Paris » et « La capitale est Paris » sont des séquences de jetons différentes qui ont le même sens. Un modèle connaissant la réponse semble donc tout de même incertain.

Calcul de l’entropie sémantique#

  1. Échantillonner environ 10 réponses à la même invite avec une température d’échantillonnage non nulle.
  2. Regrouper les réponses selon l’implication bidirectionnelle : deux réponses ont le même sens si chacune implique l’autre, comme l’évalue un modèle d’inférence en langage naturel tel que DeBERTa-large-MNLI ou un LLM généraliste — GPT-3.5 dans les principales expériences de l’article de Nature. Cette étape relève de la compréhension du langage naturel (NLU).
  3. Estimer la probabilité de chaque groupe en additionnant les probabilités des séquences correspondant à ses réponses ou, lorsqu’une API fermée masque les probabilités des jetons, en calculant la proportion d’échantillons du groupe. Cette variante s’appelle entropie sémantique discrète.
  4. Calculer l’entropie à partir des probabilités des groupes.

L’entropie sémantique discrète ne nécessite que les réponses et leurs groupes. L’extrait ci-dessous la compare à l’entropie naïve calculée sur les chaînes brutes, pour deux questions dont les réponses sont regroupées comme le ferait un modèle d’implication :

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Les deux questions produisent quatre chaînes distinctes sur cinq échantillons ; l’entropie naïve vaut donc 1.92 bit pour chacune. L’entropie sémantique les distingue : 0.00 bit pour la capitale, car chaque échantillon désigne Canberra, et 1.37 bit pour l’année de fondation, car les échantillons mêlent 1913, l’année correcte, à 1908, lorsque le site a été choisi, et à 1927, lorsque le Parlement s’y est installé.

Résultats et limites#

Sur 30 combinaisons de jeux de données de réponse aux questions (TriviaQA, SQuAD, BioASQ, NQ-Open et SVAMP) et de modèles (LLaMA 2 Chat, Falcon Instruct et Mistral Instruct), l’entropie sémantique a distingué les réponses fausses des bonnes avec une aire moyenne sous la courbe ROC (AUROC) de 0.790, contre 0.691 pour l’entropie naïve et 0.698 pour P(True), qui demande au modèle si sa propre réponse est correcte. Pour des biographies rédigées par GPT-4 sur 21 personnes et réparties en 150 affirmations factuelles, dont 45 étaient fausses, l’entropie sémantique discrète a également mieux repéré les affirmations fausses que les deux méthodes de référence.

La méthode a des limites évidentes :

  • Coût : Environ 10 générations et des vérifications d’implication par paires pour chaque question. Les sondes d’entropie sémantique, présentées par Kossen et ses collègues en 2024, réduisent ce nombre à une génération en prédisant l’entropie sémantique à partir des états cachés du modèle.
  • Erreurs cohérentes : Un modèle qui a appris une idée fausse à partir de ses données d’entraînement donne la même mauvaise réponse à chaque fois ; l’entropie sémantique reste donc faible. Seule une vérification avec des sources externes, comme dans la génération augmentée par récupération (RAG), permet de révéler l’erreur.
  • Réponses longues : Les paragraphes sont d’abord divisés en affirmations individuelles, comme dans l’expérience sur les biographies, avant que leur sens puisse être comparé.

L’entropie sémantique est un outil de quantification de l’incertitude pour les textes. La perplexité mesure à quel point un texte fixe est prévisible pour un modèle, l’autocohérence procède à un vote majoritaire parmi les réponses échantillonnées de chaîne de raisonnement, et la prédiction conforme transforme ces scores en ensembles à couverture garantie. Des benchmarks comme Humanity’s Last Exam mesurent le même écart depuis l’autre point de vue, en comparant le niveau de confiance affiché par les modèles à leur taux de réussite.

La même vérification s’applique aux modèles vision-langage (VLM) qui décrivent les détections d’un modèle. L’interface LLM d’Ultralytics envoie une image et une question à n’importe quel modèle compatible avec OpenAI et transmet les arguments de la requête sans les modifier. Un pipeline peut donc poser plusieurs fois la même question au sujet d’une image où YOLO26 a détecté un objet d’intérêt, puis regrouper les descriptions obtenues.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique