Hallucination (in LLMs)

Dans le domaine de l'Artificial Intelligence (AI), une hallucination désigne un phénomène par lequel un Large Language Model (LLM) génère du contenu sûr de lui et syntaxiquement correct, mais factuellement inexact, absurde ou infidèle à l'entrée source. Contrairement aux erreurs logicielles standard qui peuvent provoquer un plantage ou un dysfonctionnement visible, un modèle qui hallucine se comporte comme un fabulateur convaincant, présentant de fausses informations avec la même autorité que des faits valides. Cela pose des défis majeurs pour les organisations qui déploient de l'Generative AI dans des domaines sensibles tels que la santé, le droit et la finance, où l'intégrité des données est primordiale.

Pourquoi les hallucinations surviennent-elles ?#

Pour comprendre pourquoi les modèles hallucinent, il est utile d'examiner leur mode de construction. Les LLM reposent généralement sur l'architecture Transformer, qui fonctionne comme un moteur de prédiction sophistiqué. Au lieu d'interroger une base de données structurée de faits vérifiés, le modèle prédit le token suivant dans une séquence sur la base de probabilités statistiques dérivées de ses training data.

Plusieurs facteurs expliquent ce comportement :

• Devinette probabiliste : Le modèle privilégie la fluidité et la cohérence à la vérité factuelle. Si une séquence spécifique de mots est statistiquement probable — même si elle est factuellement fausse —, le modèle peut la générer. Ce concept est souvent abordé dans la recherche concernant les stochastic parrots, où les modèles imitent des schémas de langage sans en comprendre le sens.
• Problèmes de qualité des données : Si l'énorme corpus de texte utilisé pour l'entraînement contient des contradictions, des informations obsolètes ou de la fiction, le modèle peut reproduire ces inexactitudes.
• Amnésie de la source : Les LLM compressent de vastes quantités d'informations dans des model weights. Au cours de ce processus, ils perdent souvent le lien avec des sources spécifiques, ce qui conduit à une « confabulation » où des concepts ou des événements distincts sont fusionnés de manière erronée.

Exemples concrets d'hallucination#

Les hallucinations peuvent se manifester de diverses manières, allant d'embellissements créatifs inoffensifs à de graves erreurs factuelles :

• Fabrication juridique : Des cas documentés ont montré des professionnels du droit utilisant l'IA pour rédiger des mémoires, pour se rendre compte ensuite que le modèle avait inventé non-existent court cases et des citations pour étayer un argument.
• Génération de code : Les développeurs utilisant des assistants IA peuvent rencontrer des « hallucinations de paquets », où le modèle suggère d'importer une bibliothèque logicielle ou d'appeler une fonction qui n'existe pas réellement, simplement parce que le nom suit les conventions de nommage standard.
• Erreurs biographiques : Lorsqu'ils sont interrogés sur des personnes moins célèbres, les modèles peuvent attribuer avec assurance des réalisations, des lieux de naissance ou des historiques de carrière incorrects, mélangeant ainsi efficacement les détails provenant de plusieurs personnes.

Stratégies d'atténuation#

Réduire la fréquence des hallucinations est un objectif majeur de l'AI Safety. Les ingénieurs et chercheurs emploient plusieurs techniques pour ancrer les modèles dans la réalité :

• Retrieval-Augmented Generation (RAG) : Cette méthode connecte le LLM à une base de connaissances externe et fiable, souvent indexée dans un vector database. En récupérant les documents pertinents avant de générer une réponse, le modèle est contraint par des données réelles.
• Chain-of-Thought Prompting : Cette technique de prompt engineering encourage le modèle à « montrer son travail » en décomposant un raisonnement complexe en étapes intermédiaires, ce qui réduit souvent les erreurs de logique.
• Apprentissage par renforcement à partir du feedback humain (RLHF) : Pendant l'étape de réglage fin, des évaluateurs humains classent les réponses du modèle. En pénalisant les hallucinations et en récompensant la véracité, le modèle apprend à mieux s'aligner sur les attentes humaines.

Ancrer les LLM avec la vision par ordinateur#

Dans les systèmes de Multimodal AI, la génération de texte peut être ancrée à l'aide de données visuelles. Si l'on demande à un LLM de décrire une scène, il peut halluciner des objets qui n'y sont pas. En intégrant un détecteur d'objets de haute précision tel que YOLO26, les développeurs peuvent fournir une liste factuelle d'objets présents au LLM, limitant strictement sa sortie aux détections vérifiées.

L'exemple Python suivant montre comment utiliser le paquet ultralytics pour extraire une liste vérifiée d'objets, qui peut ensuite servir de contrainte factuelle pour le prompt d'un modèle de langage.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Différencier les concepts associés#

Il est important de distinguer les hallucinations des autres erreurs courantes de l'IA :

• Vs Bias in AI : Le biais désigne un préjugé systématique dans les résultats (par exemple, favoriser un groupe démographique par rapport à un autre), tandis que l'hallucination est un échec de la précision factuelle. Une réponse peut être neutre tout en comportant une hallucination (par exemple, « La Lune est faite de fromage »).
• Vs Overfitting : Le surapprentissage se produit lorsqu'un modèle mémorise trop étroitement les données d'entraînement et ne parvient pas à généraliser à de nouvelles entrées. Les hallucinations surviennent souvent lorsqu'un modèle essaie de généraliser trop dans des domaines où il manque de données.
• Vs. Erreur de classification : En object detection, étiqueter une voiture comme un camion est une erreur de classification (problème de précision), et non une hallucination. L'hallucination est spécifique à la création générative de faux contenu.

Pour ceux qui cherchent à gérer des jeux de données et à entraîner des modèles avec une intégrité des données élevée afin d'éviter les erreurs en aval, l'Ultralytics Platform propose des outils complets pour l'annotation et la gestion des jeux de données. De plus, les conseils du NIST AI Risk Management Framework fournissent des normes pour évaluer et atténuer ces risques dans les environnements de production.