Constitutional AI

L'IA constitutionnelle est une méthode d'entraînement des systèmes d'intelligence artificielle visant à les aligner sur les valeurs humaines en leur fournissant un ensemble de principes de haut niveau — une « constitution » — plutôt que de s'appuyer uniquement sur des retours humains intensifs sur des résultats individuels. Cette approche apprend essentiellement au modèle d'IA à critiquer et à réviser son propre comportement sur la base d'un ensemble prédéfini de règles, telles que « sois utile », « sois inoffensif » et « évite la discrimination ». En intégrant ces directives éthiques directement dans le processus d'entraînement, les développeurs peuvent créer des systèmes plus sûrs, plus transparents et plus faciles à mettre à l'échelle que ceux dépendants de l'Apprentissage par renforcement à partir de retours humains (RLHF) manuel.

Link to this sectionLe mécanisme de l'IA constitutionnelle#

L'innovation fondamentale de l'IA constitutionnelle réside dans son processus d'entraînement en deux phases, qui automatise l'alignement des modèles. Contrairement à l'apprentissage supervisé traditionnel, où les humains doivent étiqueter chaque réponse correcte, l'IA constitutionnelle utilise le modèle lui-même pour générer des données d'entraînement.

1. Phase d'apprentissage supervisé : Le modèle génère des réponses à des invites, puis critique son propre résultat en fonction des principes constitutionnels. Il révise la réponse pour mieux s'aligner sur les règles. Cet ensemble de données affiné est ensuite utilisé pour affiner le modèle, lui apprenant à suivre intrinsèquement les directives.

2. Phase d'apprentissage par renforcement : Cette phase, souvent appelée Apprentissage par renforcement à partir de retours d'IA (RLAIF), remplace l'évaluateur humain. L'IA génère des paires de réponses et sélectionne celle qui respecte le mieux la constitution. Ces données de préférence entraînent un modèle de récompense, qui renforce ensuite les comportements souhaités via des techniques standard d'apprentissage par renforcement.

Link to this sectionPertinence pour la vision par ordinateur#

Bien que l'IA constitutionnelle ait vu le jour dans le contexte des Grands modèles de langage (LLM) développés par des organisations comme Anthropic, ses principes sont de plus en plus pertinents pour des tâches d'apprentissage automatique plus larges, y compris la Vision par ordinateur (CV).

• Génération d'images éthique : Les outils d'IA générative pour la création d'images peuvent être entraînés « constitutionnellement » à refuser des invites qui généreraient des images violentes, haineuses ou protégées par le droit d'auteur. Cela garantit que les poids du modèle eux-mêmes encodent des contraintes de sécurité, empêchant la création de contenu visuel préjudiciable.
• Systèmes de vision critiques pour la sécurité : Dans les véhicules autonomes, une approche « constitutionnelle » peut définir des règles hiérarchiques pour la prise de décision. Par exemple, une règle stipulant que « la sécurité humaine prime sur l'efficacité du trafic » peut guider le modèle lors de l'analyse de scènes routières complexes, garantissant que les résultats de la détection d'objets sont interprétés avec la sécurité comme priorité.

Link to this sectionMise en œuvre de contrôles de politique dans l'IA de vision#

Bien qu'un entraînement complet en IA constitutionnelle implique des boucles de rétroaction complexes, tu peux appliquer le concept de « contrôles constitutionnels » pendant l'inférence pour filtrer les résultats basés sur des politiques de sécurité. L'exemple suivant démontre l'utilisation de YOLO26 pour détecter des objets et appliquer une règle de sécurité afin de filtrer les détections à faible confiance, imitant une constitution de fiabilité.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionIA constitutionnelle vs RLHF conventionnel#

Il est important de distinguer l'IA constitutionnelle de l'Apprentissage par renforcement à partir de retours humains (RLHF) standard.

• Scalabilité : Le RLHF nécessite d'énormes quantités de travail humain pour évaluer les résultats du modèle, ce qui est coûteux et lent. L'IA constitutionnelle automatise cela avec des agents IA, ce qui la rend hautement scalable.
• Transparence : Dans le RLHF, le modèle apprend à partir d'un « signal de récompense » opaque (un score), ce qui rend difficile de savoir pourquoi un comportement a été préféré. Dans l'IA constitutionnelle, le chain of thought prompting utilisé pendant la phase de critique rend le raisonnement explicite et traçable vers des principes écrits spécifiques.
• Cohérence : Les évaluateurs humains peuvent être incohérents ou biaisés. Une constitution écrite fournit une base stable pour l'éthique de l'IA, réduisant la subjectivité dans le processus d'alignement.

Link to this sectionL'avenir de l'alignement#

Alors que les modèles évoluent vers l'Intelligence Artificielle Générale (AGI), l'importance de stratégies d'alignement robustes comme l'IA constitutionnelle grandit. Ces méthodes sont essentielles pour se conformer aux normes émergentes d'organismes comme le NIST AI Safety Institute.

La plateforme Ultralytics offre des outils pour gérer la gouvernance des données et le monitoring de modèles, facilitant la création de systèmes d'IA responsables. En intégrant ces considérations éthiques dans le cycle de vie du développement de l'IA — de la collecte de données au déploiement de modèles — les organisations peuvent atténuer les risques et s'assurer que leurs technologies contribuent positivement à la société.