Hallucination (dans les LLM)

Dans le domaine de l'intelligence artificielle (IA), une hallucination désigne un phénomène où un grand modèle linguistique (LLM) génère un contenu qui est convaincant et syntaxiquement correct, mais factuellement inexact, absurde ou infidèle à la source d'entrée. Contrairement aux erreurs logicielles standard qui peuvent provoquer un plantage ou un bug visible, un modèle hallucinant se comporte comme un fabricant convaincant, présentant des informations fausses avec la même autorité que des faits valides. Cela pose des défis importants pour les organisations qui déploient l'IA générative dans des domaines sensibles tels que la santé, le droit et la finance, où l'intégrité des données est primordiale.

Pourquoi les hallucinations se produisent-elles ?

Pour comprendre pourquoi les modèles hallucinent, il est utile d'examiner leur structure. Les LLM sont généralement basés sur l' architecture Transformer, qui fonctionne comme un moteur de prédiction sophistiqué. Au lieu d'interroger une base de données structurée de faits vérifiés, le modèle prédit le prochain token d'une séquence en se basant sur des probabilités statistiques dérivées de ses données d'entraînement.

Plusieurs facteurs expliquent ce comportement :

• Conjectures probabilistes : le modèle privilégie la fluidité et la cohérence plutôt que la vérité factuelle. Si une séquence spécifique de mots est statistiquement probable, même si elle est factuellement erronée, le modèle peut la générer. Ce concept est souvent abordé dans les recherches sur les perroquets stochastiques, où les modèles imitent les schémas linguistiques sans en comprendre le sens.
• Problèmes liés à la qualité des données : si le corpus massif de textes utilisé pour l'entraînement contient des contradictions, des informations obsolètes ou des éléments fictifs, le modèle peut reproduire ces inexactitudes.
• Amnésie des sources : les LLM compressent de grandes quantités d'informations en pondérations de modèles. Au cours de ce processus, ils perdent souvent le lien avec des sources spécifiques, ce qui conduit à une « fabulation » où des concepts ou des événements distincts sont fusionnés de manière incorrecte.

Exemples concrets d'hallucinations

Les hallucinations peuvent se manifester de différentes manières, allant d'embellissements créatifs inoffensifs à de graves erreurs factuelles :

• Fabrication juridique : Il existe des cas documentés où des professionnels du droit ont utilisé l'IA pour rédiger des mémoires, pour finalement découvrir que le modèle avait inventé des affaires judiciaires et des citations inexistantes pour étayer un argument.
• Génération de code : les développeurs qui utilisent des assistants IA peuvent être confrontés à des « hallucinations de paquets », lorsque le modèle suggère d'importer une bibliothèque logicielle ou d'appeler une fonction qui n'existe pas réellement, simplement parce que le nom respecte les conventions de nommage standard.
• Erreurs biographiques : lorsqu'on leur pose des questions sur des personnes moins connues, les mannequins peuvent leur attribuer avec assurance des réalisations, des lieux de naissance ou des parcours professionnels erronés, mélangeant ainsi les détails de plusieurs personnes.

Stratégies d'atténuation

La réduction de la fréquence des hallucinations est l'un des principaux objectifs de la sécurité de l'IA. Les ingénieurs et les chercheurs utilisent plusieurs techniques pour ancrer les modèles dans la réalité :

• Génération augmentée par la recherche (RAG) : cette méthode connecte le LLM à une base de connaissances externe et fiable , souvent indexée dans une base de données vectorielle. En récupérant les documents pertinents avant de générer une réponse, le modèle est contraint par les données réelles.
• Chaîne de pensée incitative : cette technique d'ingénierie incitative encourage le modèle à « montrer son travail » en décomposant le raisonnement complexe en étapes intermédiaires, ce qui réduit souvent les erreurs logiques.
• Apprentissage par renforcement à partir du retour d'information humain (RLHF) : pendant la phase de réglage fin, des évaluateurs humains classent les réponses du modèle. En pénalisant les hallucinations et en récompensant la véracité, le modèle apprend à mieux s'aligner sur les attentes humaines.

La vision par ordinateur au service de l'apprentissage tout au long de la vie

Dans les systèmes d'IA multimodaux, la génération de texte peut être fondée sur des données visuelles. Si l'on demande à un LLM de décrire une scène, il peut halluciner des objets qui ne sont pas là. En intégrant un détecteur d'objets de haute précision comme YOLO26, les développeurs peuvent fournir au LLM une liste factuelle des objets présents, limitant strictement sa sortie aux détections vérifiées .

Python suivant montre comment utiliser la fonction ultralytics paquet pour extraire une liste vérifiée d' objets, qui peut ensuite servir de contrainte factuelle pour une invite de modèle linguistique.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Différencier des concepts connexes

Il est important de distinguer les hallucinations des autres erreurs courantes de l'IA :

• Contre les biais dans l'IA: les biais font référence à des préjugés systématiques dans les résultats (par exemple, favoriser un groupe démographique plutôt qu'un autre), tandis que l'hallucination est un défaut d' exactitude factuelle. Une réponse peut être impartiale mais hallucinée (par exemple, « La lune est faite de fromage »).
• Contre le surajustement: le surajustement se produit lorsqu'un modèle mémorise trop fidèlement les données d'entraînement et ne parvient pas à généraliser à de nouvelles entrées. Les hallucinations se produisent souvent lorsqu'un modèle tente de trop généraliser dans des domaines où il manque de données.
• Vs. Erreur de classification : dans la détection d'objets, étiqueter une voiture comme un camion est une erreur de classification (problème de précision), et non une hallucination. L'hallucination est spécifique à la création générative de faux contenus.

Pour ceux qui cherchent à gérer des ensembles de données et à former des modèles avec une intégrité élevée des données afin d'éviter les erreurs en aval, Ultralytics offre des outils complets pour l'annotation et la gestion des ensembles de données. De plus, les conseils du cadre de gestion des risques liés à l'IA du NIST fournissent des normes pour évaluer et atténuer ces risques dans les environnements de production.