Constitutional AI

L’IA constitutionnelle (CAI) est une méthode développée par Anthropic pour entraîner un modèle de langage à éviter les comportements nuisibles en lui fournissant un ensemble écrit de principes, la constitution, plutôt que des étiquettes humaines indiquant que certaines réponses sont nuisibles. Présentée dans l’article de décembre 2022 Constitutional AI: Harmlessness from AI Feedback, cette méthode demande au modèle de critiquer et de réviser ses propres réponses au regard de ces principes, puis utilise des jugements générés par l’IA pour déterminer quelle réponse les respecte le mieux et créer les données de préférence nécessaires à l’apprentissage par renforcement. L’article utilisait encore des étiquettes humaines pour l’utilité et ne les remplaçait que pour l’innocuité. Anthropic entraîne ses modèles Claude avec des méthodes fondées sur une constitution depuis 2023.

Fonctionnement de l'IA constitutionnelle#

L'entraînement part d'un modèle déjà ajusté pour être utile et se déroule en deux phases :

1. Phase supervisée : Le modèle répond à des requêtes de red teaming conçues pour susciter des réponses nuisibles. On lui demande ensuite de critiquer sa propre réponse à l'aune d'un principe choisi au hasard dans la constitution, puis de la réécrire en tenant compte de cette critique ; cette procédure peut être répétée une ou plusieurs fois. Le modèle est ajusté finement sur les révisions finales.
2. Phase d'apprentissage par renforcement : Le modèle ajusté finement génère des paires de réponses et un modèle de retour, auquel on soumet un principe, juge laquelle des deux est la meilleure, éventuellement après avoir raisonné étape par étape. Un modèle de préférence entraîné sur ces étiquettes générées par l'IA, combinées à des étiquettes humaines d'utilité, fournit ensuite la récompense pour l'apprentissage par renforcement. L'article a nommé cette phase apprentissage par renforcement à partir des retours de l'IA (RLAIF).

À niveau d'utilité égal, les modèles obtenus étaient moins nuisibles que ceux entraînés avec des étiquettes humaines d'inoffensivité et se montraient moins évasifs : au lieu de refuser catégoriquement les requêtes sensibles, ils y répondaient en expliquant leurs objections.

Contenu d'une constitution#

L’article de 2022 utilisait 16 principes courts pour les critiques et 16 autres pour les retours de l’IA, chacun formulé comme une instruction, par exemple : « Laquelle de ces réponses de l’assistant est la moins nuisible ? Choisis la réponse qu’une personne sage, éthique, polie et amicale donnerait le plus probablement. » La première constitution publiée de Claude, en mai 2023, s’inspirait notamment de la Déclaration universelle des droits de l’homme des Nations unies. En octobre 2023, Anthropic et le Collective Intelligence Project ont mené une expérience de contribution publique dans laquelle environ 1 000 Américains ont proposé et choisi des principes sur la plateforme de délibération Polis ; un modèle entraîné à partir de cette constitution publique a obtenu des résultats similaires à celui d’Anthropic et présenté moins de biais sur neuf dimensions sociales.

En janvier 2026, Anthropic a remplacé sa liste de règles par une constitution pour Claude beaucoup plus longue, qui explique le raisonnement derrière le comportement attendu. Elle classe quatre priorités par ordre : être globalement sûr, être globalement éthique, respecter les consignes d’Anthropic et se montrer véritablement utile. Elle conserve un petit nombre de contraintes strictes et est publiée sous l’engagement de mise dans le domaine public CC0. Claude utilise lui-même ce document pour générer des données d’entraînement synthétiques, notamment des conversations où la constitution s’applique et des classements de réponses possibles. L’annotation intelligente d’Ultralytics Platform peut utiliser les modèles de vision Claude d’Anthropic, entraînés avec ces méthodes fondées sur une constitution, pour proposer des boîtes correspondant aux classes d’un jeu de données de détection. Les annotateurs les vérifient ensuite et les enregistrent.

IA constitutionnelle, RLHF et méthodes connexes#

• Apprentissage par renforcement à partir des retours humains (RLHF) : Des évaluateurs humains comparent les réponses pour entraîner le modèle de récompense. La CAI conserve le même processus, mais remplace les comparaisons humaines d'inoffensivité par des comparaisons effectuées par l'IA et guidées par des principes. Les évaluateurs n'ont ainsi pas à lire de grandes quantités de textes nuisibles, et l'objectif d'entraînement devient lisible et modifiable. Le juge IA a ses propres angles morts ; la formulation des principes façonne donc le résultat.
• RLAIF en général : tout apprentissage par renforcement fondé sur des étiquettes de préférence générées par l'IA. La CAI en est la forme guidée par une constitution. Une étude de Google de 2023 a montré que le RLAIF obtenait des résultats comparables au RLHF pour la synthèse et le dialogue.
• Optimisation directe des préférences (DPO) : méthode permettant d'apprendre à partir de paires de préférences sans modèle de récompense distinct. Elle peut être entraînée aussi bien sur des étiquettes d'IA guidées par une constitution que sur des étiquettes humaines.
• Garde-fous pour l'IA : filtres appliqués autour d'un modèle au moment de l'inférence. Les classificateurs constitutionnels d'Anthropic font le lien entre les deux idées : une constitution définit les contenus autorisés et interdits, Claude en génère des exemples synthétiques et les classificateurs d'entrée et de sortie entraînés bloquent les tentatives de jailbreak. En février 2025, lors de tests automatisés, ils ont fait passer le taux de réussite des tentatives de jailbreak de 86 % à 4,4 %. La version de janvier 2026 a réduit le coût de calcul d'environ 40 fois par rapport à son classificateur de référence, tout en refusant 0,05 % du trafic de production.