Hallucination (in LLMs)

Dans le domaine de l'intelligence artificielle (IA), une hallucination désigne un phénomène où un modèle de langage étendu (LLM) génère un contenu convaincant et syntaxiquement correct, mais factuellement inexact, absurde ou non fidèle à la source. Contrairement aux erreurs logicielles classiques qui peuvent provoquer un plantage ou un bug visible, un modèle en hallucination se comporte comme un fabulateur convaincant, présentant de fausses informations avec la même autorité que des faits avérés. Cela pose des défis majeurs pour les organisations qui déploient de l'IA générative dans des secteurs sensibles comme la santé, le droit et la finance, où l'intégrité des données est primordiale.

Link to this sectionPourquoi les hallucinations surviennent-elles ?#

Pour comprendre pourquoi les modèles hallucinent, il est utile d'examiner comment ils sont construits. Les LLM sont généralement basés sur l'architecture Transformer, qui fonctionne comme un moteur de prédiction sophistiqué. Au lieu d'interroger une base de données structurée de faits vérifiés, le modèle prédit le token suivant dans une séquence basée sur des probabilités statistiques dérivées de ses données d'entraînement.

Plusieurs facteurs expliquent ce comportement :

• Devinettes probabilistes : Le modèle privilégie la fluidité et la cohérence à la vérité factuelle. Si une séquence spécifique de mots est statistiquement probable — même si elle est factuellement fausse — le modèle peut la générer. Ce concept est souvent abordé dans la recherche sur les perroquets stochastiques, où les modèles imitent des modèles linguistiques sans comprendre leur sens.
• Problèmes de qualité des données : Si l'énorme corpus de texte utilisé pour l'entraînement contient des contradictions, des informations obsolètes ou de la fiction, le modèle peut reproduire ces inexactitudes.
• Amnésie de la source : Les LLM compressent de vastes quantités d'informations dans les poids du modèle. Dans ce processus, ils perdent souvent le lien avec des sources spécifiques, conduisant à une « confabulation » où des concepts ou des événements distincts sont fusionnés de manière incorrecte.

Link to this sectionExemples concrets d'hallucination#

Les hallucinations peuvent se manifester de diverses manières, allant d'embellissements créatifs inoffensifs à de graves erreurs factuelles :

• Fabrication juridique : Il existe des cas documentés où des professionnels du droit ont utilisé l'IA pour rédiger des mémoires, pour finalement découvrir que le modèle avait inventé des affaires judiciaires inexistantes et des citations pour étayer un argument.
• Génération de code : Les développeurs utilisant des assistants IA peuvent rencontrer des « hallucinations de paquets », où le modèle suggère d'importer une bibliothèque logicielle ou d'appeler une fonction qui n'existe pas réellement, simplement parce que le nom suit les conventions de nommage standard.
• Erreurs biographiques : Lorsqu'ils sont interrogés sur des personnes moins célèbres, les modèles peuvent attribuer avec assurance des réalisations, des lieux de naissance ou des historiques de carrière incorrects, mélangeant ainsi efficacement les détails provenant de plusieurs personnes.

Link to this sectionStratégies d'atténuation#

Réduire la fréquence des hallucinations est un objectif majeur de la sécurité de l'IA. Les ingénieurs et les chercheurs emploient plusieurs techniques pour ancrer les modèles dans la réalité :

• Génération augmentée par récupération (RAG) : Cette méthode connecte le LLM à une base de connaissances externe et fiable, souvent indexée dans une base de données vectorielle. En récupérant des documents pertinents avant de générer une réponse, le modèle est limité par des données réelles.
• Chaîne de pensée (Chain-of-Thought) : Cette technique de prompt engineering encourage le modèle à « montrer son raisonnement » en décomposant des réflexions complexes en étapes intermédiaires, ce qui réduit souvent les erreurs de logique.
• Apprentissage par renforcement à partir du feedback humain (RLHF) : Pendant l'étape de réglage fin, des évaluateurs humains classent les réponses du modèle. En pénalisant les hallucinations et en récompensant la véracité, le modèle apprend à mieux s'aligner sur les attentes humaines.

Link to this sectionAncrer les LLM avec la vision par ordinateur#

Dans les systèmes d'IA multimodale, la génération de texte peut être ancrée à l'aide de données visuelles. Si l'on demande à un LLM de décrire une scène, il pourrait halluciner des objets inexistants. En intégrant un détecteur d'objets de haute précision comme YOLO26, les développeurs peuvent fournir une liste factuelle des objets présents au LLM, limitant strictement sa sortie aux détections vérifiées.

L'exemple Python suivant montre comment utiliser le package ultralytics pour extraire une liste vérifiée d'objets, qui peut ensuite servir de contrainte factuelle pour un prompt de modèle de langage.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionDifférencier les concepts associés#

Il est important de distinguer les hallucinations des autres erreurs courantes de l'IA :

• Vs Biais dans l'IA : Le biais désigne un préjugé systématique dans les résultats (par exemple, favoriser un groupe démographique par rapport à un autre), tandis que l'hallucination est un échec de la précision factuelle. Une réponse peut être sans biais tout en étant hallucinée (par exemple : « La lune est faite de fromage »).
• Vs Surapprentissage (Overfitting) : Le surapprentissage se produit lorsqu'un modèle mémorise trop étroitement les données d'entraînement et ne peut pas généraliser à de nouvelles entrées. Les hallucinations surviennent souvent lorsqu'un modèle essaie de généraliser trop dans des domaines où il manque de données.
• Vs Mauvaise classification : En détection d'objets, étiqueter une voiture comme un camion est une erreur de classification (problème de précision), pas une hallucination. L'hallucination est spécifique à la création générative de faux contenu.

Pour ceux qui cherchent à gérer des jeux de données et à entraîner des modèles avec une intégrité de données élevée afin d'éviter les erreurs en aval, la plateforme Ultralytics propose des outils complets pour l'annotation et la gestion des jeux de données. De plus, les conseils du cadre de gestion des risques liés à l'IA du NIST fournissent des normes pour évaluer et atténuer ces risques dans les environnements de production.