Hallucination (in LLMs)

Dans le domaine de l’intelligence artificielle (AI), une hallucination désigne un phénomène au cours duquel un grand modèle de langage (LLM) génère un contenu assuré et syntaxiquement correct, mais factuellement inexact, incohérent ou infidèle aux données d’entrée. Contrairement aux erreurs logicielles classiques, qui peuvent provoquer un plantage ou un dysfonctionnement visible, un modèle qui hallucine se comporte comme un faussaire convaincant en présentant de fausses informations avec la même autorité que des faits avérés. Cela pose des défis importants aux organisations qui déploient l’IA générative dans des domaines sensibles comme la santé, le droit et la finance, où l’intégrité des données est primordiale.

Pourquoi les hallucinations se produisent-elles ?#

Pour comprendre pourquoi les modèles hallucinent, il est utile d’examiner comment ils sont conçus. Les LLM reposent généralement sur l’architecture Transformer, qui fonctionne comme un moteur de prédiction sophistiqué. Au lieu d’interroger une base de données structurée contenant des faits vérifiés, le modèle prédit le jeton suivant d’une séquence en fonction de probabilités statistiques dérivées de ses données d’entraînement.

Plusieurs facteurs favorisent ce comportement :

• Deviner de manière probabiliste : le modèle privilégie la fluidité et la cohérence au détriment de la vérité factuelle. Si une séquence donnée de mots est statistiquement probable, même si elle est factuellement incorrecte, le modèle peut la générer. Ce concept est souvent abordé dans les travaux de recherche sur les perroquets stochastiques, où les modèles imitent des schémas linguistiques sans en comprendre le sens.
• Problèmes de qualité des données : si l’immense corpus de textes utilisé pour l’entraînement contient des contradictions, des informations obsolètes ou des œuvres de fiction, le modèle peut reproduire ces inexactitudes.
• Amnésie de la source : les LLM compressent d’immenses quantités d’informations dans les poids du modèle. Au cours de ce processus, ils perdent souvent le lien avec les sources précises, ce qui entraîne des « confabulations » où des concepts ou des événements distincts sont fusionnés de manière incorrecte.

Exemples d’hallucinations dans le monde réel#

Les hallucinations peuvent se manifester de différentes manières, allant d’embellissements créatifs sans conséquence à de graves erreurs factuelles :

• Fabrication juridique : des cas documentés montrent que des professionnels du droit ont utilisé l’IA pour rédiger des mémoires, avant de découvrir que le modèle avait inventé des affaires judiciaires inexistantes et des références destinées à étayer un argument.
• Génération de code : les développeurs qui utilisent des assistants d’IA peuvent rencontrer des « hallucinations de packages », lorsque le modèle suggère d’importer une bibliothèque logicielle ou d’appeler une fonction qui n’existe pas réellement, simplement parce que son nom respecte les conventions habituelles de dénomination.
• Erreurs biographiques : lorsqu’on les interroge sur des personnes moins célèbres, les modèles peuvent leur attribuer avec assurance des réalisations, des lieux de naissance ou des parcours professionnels incorrects, mélangeant ainsi des informations provenant de plusieurs individus.

Stratégies d'atténuation#

Réduire la fréquence des hallucinations est un objectif majeur de la sécurité de l’IA. Les ingénieurs et les chercheurs utilisent plusieurs techniques pour ancrer les modèles dans la réalité :

• Génération augmentée par récupération (RAG) : cette méthode connecte le LLM à une base de connaissances externe et fiable, souvent indexée dans une base de données vectorielle. En récupérant les documents pertinents avant de générer une réponse, le modèle est contraint par des données réelles.
• Incitation par chaîne de pensée : cette technique d’ingénierie des prompts encourage le modèle à « montrer son raisonnement » en décomposant les raisonnements complexes en étapes intermédiaires, ce qui réduit souvent les erreurs logiques.
• Apprentissage par renforcement à partir de retours humains (RLHF) : lors de la phase d’ajustement fin, des évaluateurs humains classent les réponses du modèle. En pénalisant les hallucinations et en récompensant la véracité, le modèle apprend à mieux s’aligner sur les attentes humaines.

Ancrer les LLM grâce à la vision par ordinateur#

Dans les systèmes d’IA multimodale, la génération de texte peut être ancrée à l’aide de données visuelles. Si on demande à un LLM de décrire une scène, il peut halluciner des objets qui ne s’y trouvent pas. En intégrant un détecteur d’objets haute précision comme YOLO26, les développeurs peuvent fournir au LLM une liste factuelle des objets présents, limitant strictement sa sortie aux détections vérifiées.

L’exemple Python suivant montre comment utiliser le package ultralytics pour extraire une liste vérifiée d’objets, qui peut ensuite servir de contrainte factuelle pour le prompt d’un modèle de langage.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Distinguer les concepts associés#

Il est important de distinguer les hallucinations des autres erreurs courantes de l’IA :

• Par rapport au biais dans l’IA : le biais désigne un préjugé systématique dans les sorties, par exemple le fait de favoriser un groupe démographique par rapport à un autre, tandis que l’hallucination constitue un défaut d’exactitude factuelle. Une réponse peut être impartiale tout en étant une hallucination, comme « La Lune est faite de fromage ».
• Par rapport au surapprentissage : le surapprentissage se produit lorsqu’un modèle mémorise les données d’entraînement de manière excessive et ne peut pas généraliser à de nouvelles entrées. Les hallucinations surviennent souvent lorsqu’un modèle tente de généraliser à l’excès dans des domaines pour lesquels il dispose de peu de données.
• Par rapport à la mauvaise classification : dans la détection d’objets, étiqueter une voiture comme un camion constitue une erreur de classification, c’est-à-dire un problème de précision, et non une hallucination. L’hallucination concerne spécifiquement la création générative de contenu faux.

Pour ceux qui cherchent à gérer des jeux de données et à entraîner des modèles avec une forte intégrité des données afin de prévenir les erreurs en aval, l’Ultralytics Platform propose des outils complets d’annotation et de gestion des jeux de données. En outre, les recommandations du cadre de gestion des risques liés à l’IA du NIST fournissent des normes pour évaluer et atténuer ces risques dans les environnements de production.