Hallucination (dans les LLM)

Dans le contexte des grands modèles linguistiques (LLM), une hallucination fait référence à un phénomène où le modèle génère un texte qui semble confiant et plausible, mais qui est factuellement incorrect, absurde ou non fondé sur les données sources fournies. Ces modèles, conçus pour la génération de texte avancée, peuvent parfois inventer des faits, des sources ou des détails, en les présentant comme s'ils étaient vrais. Cela se produit parce que l'objectif principal d'un LLM est de prédire le mot suivant dans une séquence pour former des phrases cohérentes, et non de vérifier la véracité des informations qu'il génère. Comprendre et atténuer les hallucinations est un défi central pour rendre l'IA générative plus fiable.

Pourquoi les LLM ont-ils des hallucinations ?

Les hallucinations ne sont pas des tromperies intentionnelles, mais des sous-produits de la façon dont les LLM sont construits et entraînés. Les principales causes sont les suivantes :

• Imperfections des données d'entraînement : Les modèles comme GPT-3 et GPT-4 apprennent à partir d'immenses volumes de texte provenant d'Internet, qui contiennent inévitablement des erreurs, des informations obsolètes et des biais algorithmiques. Le modèle apprend ces schémas à partir de ses données d'entraînement sans compréhension inhérente de la vérité.
• Conception architecturale : L'architecture Transformer sous-jacente est optimisée pour la reconnaissance de formes et la modélisation linguistique, et non pour la restitution factuelle ou le raisonnement logique. Cela peut mener à ce que certains chercheurs appellent un "perroquet stochastique", une entité capable d'imiter le langage sans en comprendre le sens.
• Ambiguïté au moment de l'inférence : Pendant la génération, si le modèle n'est pas sûr du meilleur jeton suivant, il peut « combler les lacunes » avec des informations plausibles, mais fabriquées. L'ajustement des paramètres d'inférence tels que la température peut parfois réduire ce phénomène, mais cela reste un défi majeur. Pour une vue d'ensemble technique, consultez cette étude sur les hallucinations des LLM provenant d'arXiv.

Exemples concrets d'hallucinations

• Recherche juridique : Un avocat utilisant un assistant IA pour la recherche de cas lui a demandé de trouver des précédents juridiques. Le chatbot a cité plusieurs affaires judiciaires entièrement fabriquées, y compris les noms des affaires et les analyses juridiques, qui étaient plausibles mais inexistantes. Cet incident réel a mis en évidence les risques sérieux du déploiement de LLM dans des domaines à enjeux élevés sans vérification rigoureuse des faits.
• Recommandations de produits : Un utilisateur demande à un chatbot quel est le « meilleur sac à dos de randonnée avec un panneau solaire intégré ». Le LLM pourrait recommander avec assurance un modèle spécifique, en décrivant ses caractéristiques en détail, même si ce produit ou cette combinaison de caractéristiques n'existe pas. Le modèle combine des concepts issus de ses données d'entraînement pour créer un produit plausible mais fictif.

Comment réduire les hallucinations

Les chercheurs et les développeurs travaillent activement sur plusieurs stratégies d'atténuation :

• Génération Augmentée par Récupération (RAG) : Cette technique dote un LLM de la capacité de récupérer des informations à partir d'une base de connaissances externe et faisant autorité (comme une base de données vectorielle) avant de générer une réponse. En ancrant le modèle dans des faits vérifiables, la RAG réduit considérablement les fabrications. Vous pouvez en apprendre davantage sur le fonctionnement de la RAG auprès d'IBM Research.
• Meilleures techniques d'invite : Des méthodes comme l'invite de type chaîne de pensée encouragent le modèle à décomposer son raisonnement étape par étape, ce qui peut conduire à des résultats plus précis. L'article de recherche original sur la chaîne de pensée démontre son efficacité.
• Apprentissage par renforcement à partir de la rétroaction humaine (RLHF) : Les modèles sont affinés à l’aide de RLHF, où les évaluateurs humains évaluent différentes réponses du modèle. Cette rétroaction entraîne le modèle à préférer les réponses véridiques et utiles, un processus détaillé par des organisations comme OpenAI et Anthropic.
• Couches de vérification et de contrôle des faits : Mise en œuvre d'un processus distinct pour vérifier les affirmations faites par un LLM par rapport à des sources fiables avant de présenter le résultat à l'utilisateur. Cela ajoute une couche de développement d'IA responsable.
• Ensembles de données de haute qualité et réglage fin : L'amélioration continue de la qualité des données utilisées pour l'entraînement et le réglage fin sur des ensembles de données spécifiques de haute qualité peut aider à aligner un modèle de fondation sur l'exactitude factuelle.

Hallucination vs. Autres erreurs d'IA

• Biais dans l'IA : Le biais dans l'IA fait référence à des erreurs systématiques où les sorties d'un modèle favorisent injustement certains groupes, reflétant généralement les biais sociétaux ou des biais dans l'ensemble de données. L'hallucination concerne l'inexactitude factuelle, pas nécessairement les préjugés. Les deux sont des préoccupations sérieuses dans l'éthique de l'IA.
• Erreurs de vision par ordinateur : Le concept d'hallucination est principalement associé au traitement du langage naturel (TLN). En vision par ordinateur (VC), une erreur signifie généralement qu'un modèle comme Ultralytics YOLO fait une erreur dans la détection d'objets (par exemple, en classant mal un chat comme un chien) ou ne parvient pas à détecter un objet, ce qui est lié à sa précision. Il s'agit d'une erreur de perception, et non d'une invention d'informations. Cependant, à mesure que les modèles multimodaux qui fusionnent la vision et le langage deviennent plus courants, ils peuvent également « halluciner » des descriptions incorrectes d'images. La gestion des deux types de modèles peut être rationalisée sur des plateformes comme Ultralytics HUB.