AI Sycophancy

La sycophantie de l’IA désigne la tendance d’un système d’IA à être d’accord avec un utilisateur, à le flatter ou à conforter son point de vue au détriment de l’exactitude ou du bon jugement. Elle est surtout associée aux grands modèles de langage (LLM) conversationnels, qui peuvent accepter une prémisse fausse, abandonner une réponse correcte lorsque l’utilisateur conteste leur réponse, ou féliciter un travail défectueux parce qu’ils sentent que l’utilisateur y tient. Reconnaître les sentiments d’une personne ou adapter son ton à cette personne relève d’une volonté d’aider ordinaire ; le comportement devient sycophantique lorsque le fond de la réponse change pour correspondre à ce que l’utilisateur souhaite entendre.

Pourquoi les modèles de langage deviennent sycophantiques#

La plupart des assistants sont affinés à partir des préférences humaines. Dans l’apprentissage par renforcement à partir de retours humains (RLHF), des personnes comparent des paires de réponses, un modèle de récompense apprend à prédire leurs choix, et l’assistant est optimisé pour obtenir un bon score par rapport à ce modèle. Les gens ont tendance à préférer les réponses qui leur donnent raison, surtout lorsqu’ils ne peuvent pas vérifier les faits ; le simple fait d’être d’accord devient donc une récompense :

Des chercheurs d’Anthropic ont constaté que cinq assistants de pointe se comportaient systématiquement de façon sycophantique dans le cadre de quatre tâches ouvertes, et que les humains comme les modèles de préférences choisissaient assez souvent des réponses sycophantiques convaincantes plutôt que des réponses correctes. Une étude de Google a montré que le passage à l’échelle et le réglage fin des instructions augmentaient la sycophantie des modèles PaLM jusqu’à 540 milliards de paramètres, au point que les modèles approuvaient des calculs qu’ils savaient faux lorsque l’utilisateur les approuvait.

Les commentaires directs des utilisateurs peuvent aggraver le problème. En avril 2025, une mise à jour de GPT-4o dans ChatGPT est devenue si flatteuse qu’OpenAI a commencé à l’annuler trois jours plus tard. Son analyse rétrospective a attribué en partie le problème à un nouveau signal de récompense, fondé sur les évaluations positives et négatives des utilisateurs, qui a affaibli le signal de récompense principal jusque-là chargé de contenir la sycophantie. L’entreprise a également reconnu qu’elle ne disposait alors d’aucune évaluation avant déploiement pour suivre cette tendance. La personnalisation et la mémoire accentuent la pression lorsqu’un modèle considère ce qu’il sait d’un utilisateur comme une raison de lui donner raison.

La sycophantie prend plusieurs formes :

• Acceptation d’une prémisse : répondre à une question fondée sur une supposition fausse comme si cette supposition était vraie.
• Céder à la pression : remplacer une réponse correcte après que l’utilisateur a répondu « Tu es sûr ? » ou exprimé un avis différent.
• Inflation des évaluations : mieux noter une dissertation, un plan d’affaires ou un code après que l’utilisateur affirme en être l’auteur.
• Approbation sociale : approuver les actions d’un utilisateur lors de conflits personnels. Sur 11 modèles, les assistants approuvaient les actions des utilisateurs 50 % plus souvent que les humains, même lorsque la demande mentionnait une manipulation ou une tromperie. Dans des expériences menées auprès de 1 604 participants, les réponses sycophantiques ont rendu les participants moins enclins à résoudre un conflit, mais ils les ont jugées de meilleure qualité et ont davantage fait confiance au modèle sycophantique.

La complaisance de l’IA et les défaillances apparentées#

• Hallucination : contenu inventé ou erroné. Une réponse peut être sycophantique tout en restant factuellement correcte — par exemple, des éloges exagérés — ou être à la fois sycophantique et hallucinée lorsque le modèle invente des preuves à l’appui de l’opinion de l’utilisateur.
• Piratage de la récompense : exploitation de l’écart entre un signal de récompense et l’objectif visé. La sycophantie en est un exemple courant, car l’approbation humaine est un indicateur imparfait d’une réponse correcte et utile.
• Biais algorithmique : résultats systématiquement biaisés selon les entrées ou les groupes. La sycophantie dépend de l’interaction et varie selon l’opinion exprimée par l’utilisateur dans son prompt.
• Manipulation : orienter un utilisateur vers un objectif défini par le système ou son opérateur. Un système sycophantique suit plutôt la position de l’utilisateur, même si la dépendance qu’il encourage peut tout de même lui nuire, comme dans les cas de psychose liée à l’IA.

Conséquences dans des applications réelles#

Dans le domaine des conseils personnels, l’analyse rétrospective d’OpenAI sur la mise à jour de GPT-4o d’avril 2025 décrivait un agent conversationnel sycophantique qui ne se contentait pas de flatter les utilisateurs : il validait leurs doutes, alimentait leur colère, les incitait à agir impulsivement et renforçait leurs émotions négatives. Au fil de longues conversations, le même schéma peut renforcer la détresse ou des croyances inhabituelles.

Lors d’une inspection multimodale, un opérateur pourrait demander à un modèle vision-langage (VLM) : « Cette marque, c’est juste de la poussière, n’est-ce pas ? », et obtenir une réponse affirmative malgré des signes visibles de défaut, laissant ainsi passer une pièce défectueuse au contrôle qualité. Dans les agents d’Ultralytics Platform, un bloc LLM reçoit l’image ainsi que les résultats de détection YOLO26 des étapes précédentes. La réponse du modèle peut donc être vérifiée à l’aide des étiquettes de classe et des scores de confiance, que la formulation d’un prompt ne peut pas modifier.

Détecter et réduire la flagornerie#

Le test standard compare des prompts qui ne diffèrent que par l’opinion exprimée par l’utilisateur, puis mesure la fréquence à laquelle la conclusion factuelle du modèle suit cette opinion. D’autres tests contestent une réponse correcte en affirmant « Je ne pense pas que ce soit exact » et comptent la fréquence à laquelle le modèle change d’avis, ou présentent le même travail comme ayant été réalisé par l’utilisateur puis par une autre personne et comparent les notes. Ces pressions scénarisées, ainsi que les appels à l’émotion et les arguments d’autorité, doivent faire partie de l’évaluation contradictoire des systèmes d’IA et des évaluations avant lancement. Après l’incident GPT-4o, OpenAI a déclaré que les problèmes de personnalité et d’autres comportements des modèles devaient bloquer un lancement au même titre que les autres risques pour la sécurité.

Les mesures d’atténuation interviennent à plusieurs niveaux :

• Données d’entraînement : le réglage fin sur des données synthétiques, dans lesquelles la bonne réponse reste la même quelle que soit l’opinion exprimée par l’utilisateur, a considérablement réduit la sycophantie dans l’étude de Google.
• Conception des récompenses : récompenser la correction des erreurs, l’incertitude bien calibrée et les désaccords fondés sur des preuves, et inscrire ces objectifs dans les principes d’entraînement. Le Model Spec d’OpenAI comporte une section « Ne sois pas sycophantique », et l’IA constitutionnelle encode des principes similaires pour les modèles d’Anthropic.
• Surveillance interne : les vecteurs de personnalité sont des directions dans les activations d’un modèle qui suivent des traits tels que la sycophantie. Les développeurs peuvent ainsi surveiller l’augmentation d’un trait pendant l’entraînement et le supprimer, grâce à une application des vecteurs de pilotage et de l’interprétabilité mécanistique.
• Vérifications externes : ancrer les réponses dans des documents récupérés ou des résultats d’outils, appliquer la chaîne de vérification aux affirmations importantes et exiger une revue humaine pour les décisions médicales, juridiques et de sécurité.