Hallucination (dans les LLM)

Dans le cadre de grands modèles de langage (LLM)une hallucination se produit lorsqu'un modèle génératif produit un contenu qui est sûr de lui et syntaxiquement fluide mais mais factuellement incorrect, absurde ou infidèle au matériau d'origine. Contrairement aux erreurs classiques de recherche dans les bases de données, les hallucinations en IA générative sont souvent plausibles, ce qui les rend difficiles à detect pour les utilisateurs sans vérification indépendante. Ce phénomène Ce phénomène découle de la conception fondamentale de ces modèles, qui donnent la priorité à l'analyse de l'information. la génération de texte basée sur la probabilité statistique plutôt que la validation de la vérité. Il est essentiel de comprendre les hallucinations pour déployer des systèmes d'IA sûrs, en particulier dans les secteurs à fort enjeu tels que la santé, la finance et les services juridiques.

Pourquoi les LLM hallucinent

La cause première de l'hallucination réside dans la Transformateur et les objectifs de formation objectifs de formation utilisés pour construire les modèles de base. Ces systèmes sont formés pour prédire la prochaine jeton dans une séquence sur la base de modèles appris à partir de vastes quantités de données de formation. Ils ne possèdent pas de concept inhérent de "fait" ou de "fiction" ; ils modélisent plutôt la probabilité que des mots apparaissent ensemble. la probabilité que des mots apparaissent ensemble.

Plusieurs facteurs contribuent à ce comportement :

• Limitations des données : Si le corpus de formation contient des informations contradictoires, obsolètes ou incorrectes, le modèle peut reproduire ces erreurs. Cette question est souvent abordée dans les recherches concernant les perroquets stochastiquesoù les modèles imitent des formes linguistiques sans en comprendre le sens.
• Artefacts de compression : Les LLM compriment la connaissance de l'internet en un ensemble fixe de paramètres. Au cours de cette compression, des nuances peuvent être perdues, conduisant à l'amalgame de concepts distincts.
• Ambiguïté de l'inférence : Lorsqu'un modèle est confronté à une invite en dehors de sa distribution de connaissances, il peut par défaut générer la réponse la plus statistiquement probable plutôt que d'admettre son ignorance. de générer la réponse statistiquement la plus probable plutôt que d'admettre son ignorance, un comportement souvent appelé "confabulation". "confabulation".

Exemples concrets d'hallucinations

Les hallucinations peuvent se manifester sous diverses formes, allant d'inexactitudes subtiles à des fabrications complètes :

• Fabrication de cas juridiques : Dans un incident largement médiatisé, un professionnel du droit a utilisé un LLM pour pour effectuer des recherches sur un cas. Le modèle a généré un dossier juridique citant plusieurs affaires judiciaires inexistantes avec des citations et des avis judiciaires inventés, ce qui a conduit à des sanctions.
• Invention d'une bibliothèque de codage : Les développeurs qui utilisent des assistants de codage AI se voient parfois recommander des bibliothèques logicielles ou des méthodes d'API qui n'existent pas réellement. de bibliothèques logicielles ou de méthodes d'API qui n'existent pas réellement. Le modèle hallucine un nom de fonction plausible (par exemple, ultralytics.detect_everything()) sur la base des conventions de dénomination standard qu'il a observées dans ses données de formation, même si cette fonction spécifique n'a jamais été mise en œuvre. données d'apprentissage, même si cette fonction spécifique n'a jamais été mise en œuvre.

Stratégies d'atténuation

La réduction des hallucinations est l'un des principaux objectifs de l'étude. Sécurité de l'IA de l'IA. Plusieurs techniques sont actuellement employées pour ancrer les modèles dans la réalité :

• Génération améliorée par récupération (RAG) : Cette méthode connecte le LLM à une base de connaissances externe de confiance externe fiable, telle qu'une base de données vectorielles. Au lieu de s'appuyer uniquement sur la mémoire interne, le modèle récupère les documents pertinents avant de générer une réponse. Pour en savoir plus comment RAG améliore la précision dans les applications d'entreprise.
• Ingénierie rapide : Techniques comme L'incitation à la chaîne de pensée encouragent le modèle à expliquer son raisonnement étape par étape, ce qui permet de réduire les erreurs logiques et d'améliorer la cohérence des faits. cohérence des faits.
• Apprentissage par renforcement à partir du feedback humain (RLHF) : Les développeurs utilisent Apprentissage par renforcement à partir du feedback humain (RLHF) pour pénaliser le modèle en cas d'hallucinations pendant la phase de mise au point, afin d'aligner ses résultats sur les préférences humaines en matière de véracité. humaines en matière de véracité.
• Mise à la terre multimodale : Dans les tâches vision-langage, les hallucinations peuvent être réduites en vérifiant la sortie du texte par rapport à des données structurées. par rapport à des données structurées provenant de modèles de vision par ordinateur (CV) (vision par ordinateur).

La vision par ordinateur au service de l'apprentissage tout au long de la vie

Un moyen efficace d'atténuer les hallucinations dans les flux de travail multimodaux est d'utiliser un système de contrôle de la qualité de haute précision. détection d'objets pour vérifier le contenu physique d'une image avant qu'un le contenu physique d'une image avant qu'un LLM ne la décrive. En introduisant une liste vérifiée d'objets dans le contexte du LLM, vous l'empêchez d'inventer de nouvelles images. vous l'empêchez d'inventer des éléments qui n'existent pas.

L'exemple suivant montre comment utiliser Ultralytics YOLO11 pour générer une liste d'objets d'objets, qui peut ensuite servir de contrainte factuelle pour un modèle génératif.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Hallucination et autres terminologies

Il est important de distinguer les hallucinations des autres types d'erreurs de l'IA :

• contre la partialité : Les biais dans l'IA se réfère à des préjugés systématiques systématique dans les résultats (par exemple, les stéréotypes), tandis que l'hallucination se réfère à l'inexactitude des faits. Une déclaration peut être impartiale mais hallucinée, ou factuelle mais biaisée.
• par rapport aux erreurs de précision : Dans les tâches de classification, une prédiction erronée (comme le fait de qualifier un chien de chat) est une erreur de précision et non une hallucination. une erreur de précision, et non une hallucination. L'hallucination est spécifique à la génératif de création de nouveaux nouveau contenu.
• vs. surajustement : Alors que surajustement implique une mémorisation données d'apprentissage, les hallucinations se produisent souvent lorsque le modèle tente de généraliser au-delà de ses données d'apprentissage et qu 'il échoue. données d'apprentissage et échoue.

Pour plus d'informations sur l'évaluation des modèles génératifs, consultez le site web de la Commission européenne. Cadre de gestion des risques liés à l'IA du NIST offre un aperçu complet des normes de fiabilité et de sécurité. En outre, les chercheurs continuent à développer des algorithmes de vérification des faits pour detect et signaler automatiquement les contenus hallucinatoires en temps réel.