Hallucination (in LLMs)

Une hallucination dans un grand modèle de langage (LLM) est un contenu généré qui paraît fluide et convaincant, mais qui est faux, non étayé par les sources du modèle ou incompatible avec ses propres données d’entrée. Les hallucinations vont d’une référence inventée ou d’une date erronée à un résumé qui ajoute des affirmations absentes du document source. Elles sont difficiles à repérer, car une réponse erronée adopte le même ton qu’une réponse correcte. Dans l’affaire Mata c. Avianca (2023), un tribunal fédéral américain a sanctionné deux avocats pour avoir déposé un mémoire citant six décisions de justice inventées par ChatGPT. Certains chercheurs préfèrent le terme « confabulation », car le modèle comble les lacunes de ses connaissances par du texte plausible.

Types d’hallucinations#

• Hallucinations intrinsèques : sortie qui contredit la source fournie, par exemple un résumé qui donne une année d’approbation différente de celle du document résumé. L’étude de Ji et al. utilise ce terme et le suivant pour classer les erreurs de résumé, de dialogue et de traduction.
• Hallucinations extrinsèques : sortie qui ajoute des informations que la source ne permet pas de confirmer ; elles peuvent être vraies ou non.
• Erreurs factuelles dans les réponses ouvertes : en l’absence de source, le modèle énonce des faits erronés, invente des références ou fusionne les détails de plusieurs personnes en une seule biographie.
• Hallucinations de paquets : les assistants de programmation importent des bibliothèques inexistantes. Une étude portant sur 576 000 échantillons de code générés par 16 modèles a révélé qu’au moins 5,2 % des paquets suggérés par les modèles commerciaux et 21,7 % de ceux proposés par les modèles open source étaient inventés. Cela représente 205 474 noms de paquets fictifs uniques que des attaquants pourraient enregistrer avec du code malveillant.
• Hallucinations d’objets : les modèles vision-langage (VLM) décrivent des objets absents de l’image.

Pourquoi les LLM hallucinent#

Un LLM génère du texte en prédisant le jeton suivant à partir des probabilités apprises pendant le préentraînement, sans vérification intégrée par rapport à une base de faits. Kalai et al. (2025), chez OpenAI, attribuent les hallucinations à deux pressions statistiques. Pendant le préentraînement, les faits vus une seule fois, comme la date de naissance d’une personne peu connue, ne peuvent pas être appris de manière fiable : si 20 % des dates de naissance apparaissent exactement une fois dans les données d’entraînement, on peut s’attendre à ce qu’un modèle de base hallucine pour au moins 20 % des questions sur les dates de naissance. Après l’entraînement, la plupart des bancs d’essai évaluent les réponses comme justes ou fausses et attribuent zéro point à « Je ne sais pas ». Un modèle qui devine obtient donc un meilleur score qu’un modèle qui s’abstient, et le post-entraînement transforme les modèles en devineurs sûrs d’eux.

D’autres facteurs s’y ajoutent. Un échantillonnage avec une température élevée ou un échantillonnage par noyau large peut sélectionner des continuations peu probables ; la précision diminue lorsque les faits pertinents sont enfouis dans de longues entrées (dérive du contexte) ; et les modèles entraînés à obtenir l’approbation humaine ont tendance à accepter une prémisse fausse dans la question, une forme de complaisance de l’IA.

Détecter et réduire les hallucinations#

• Génération augmentée par récupération (RAG) : le système récupère des passages d’une collection fiable et demande au modèle d’y puiser sa réponse. Un réordonnanceur améliore la sélection des passages transmis à l’invite, mais le modèle peut toujours mal les interpréter ou les ignorer.
• Ancrage avec citations : chaque affirmation doit citer un passage récupéré, et un vérificateur, souvent un second modèle, confirme que le passage l’étaye.
• Entropie sémantique : le modèle répond plusieurs fois à la même question, les réponses sont regroupées par sens, et une entropie élevée entre les groupes signale une confabulation probable.
• Chaîne de vérification (CoVe) : le modèle rédige une réponse, formule des questions de vérification sur ses propres affirmations, y répond indépendamment, puis révise son brouillon.
• Récompenser l’abstention : l’entraînement avec le RLHF ou d’autres retours qui pénalisent davantage les erreurs affirmées avec assurance que les « Je ne sais pas », ainsi que l’évaluation selon le même principe, supprime l’incitation à deviner.

Un système ancré de questions-réponses combine plusieurs de ces vérifications dans une boucle :

Hallucinations et concepts associés#

• Biais de l’IA : distorsion systématique des sorties, par exemple en faveur d’un groupe. Une réponse peut être exempte de biais tout en étant hallucinée, ou factuellement correcte tout en étant biaisée.
• Surapprentissage : mémorisation des exemples d’entraînement au détriment de la généralisation. Les hallucinations sont souvent dues à la situation inverse, lorsque le modèle complète un fait qu’il a vu trop rarement pour le mémoriser.
• Effondrement des modèles : perte des connaissances rares lorsque les modèles sont entraînés sur des données générées, ce qui peut augmenter les hallucinations des modèles ultérieurs sur les faits rares.

Hallucinations d’objets dans les modèles vision-langage#

Les VLM s’appuient sur des connaissances linguistiques préalables. Un modèle de légendage peut donc mentionner une fourchette sur une table qui n’en contient pas, parce que les fourchettes apparaissent souvent à côté des assiettes dans les légendes d’entraînement. Les hallucinations d’objets dans le légendage d’images se mesurent avec la métrique CHAIR, qui calcule la fraction des objets mentionnés dans une légende mais absents des annotations de vérité terrain de l’image. Lorsqu’un VLM trace plutôt des boîtes, chaque objet halluciné devient un faux positif, et les résultats du benchmark VLM indiquent la précision de chaque modèle sur des jeux de données de détection du monde réel. Une solution consiste à transmettre au modèle de langage une liste d’objets réellement repérés par un détecteur. L’extrait ci-dessous exécute YOLO26 sur une image et transforme ses détections en contrainte d’instruction :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-class detection counts as text, used as facts the language model must stay within
detections = result.verbose()
prompt = f"Describe this image. Mention only these detected objects: {detections}"
print(prompt)

result.verbose() renvoie un décompte par classe détectée. Chaque objet nommé dans l’invite est donc associé à une boîte englobante, et toute réponse mentionnant un autre objet peut être signalée avant d’être présentée à l’utilisateur.