Licence YOLO
Retour au glossaire Ultralytics

Superalignment

La superalignement consiste à aligner des systèmes d’IA plus intelligents que les humains chargés de les superviser ; ce problème est étudié au moyen de la généralisation du faible au fort et de la supervision.

La superalignement est le problème qui consiste à aligner des systèmes d’IA beaucoup plus capables que les humains chargés de les superviser. C’est aussi le nom du programme de recherche lancé par OpenAI en 2023 pour s’y attaquer. Les méthodes d’alignement actuelles, comme l’apprentissage par renforcement à partir des retours humains (RLHF), reposent sur des personnes qui évaluent les sorties d’un modèle. Dès qu’un modèle écrit du code, des preuves ou des plans que ses superviseurs ne peuvent pas vérifier de manière fiable, ces évaluations cessent d’être un signal d’entraînement digne de confiance. Un modèle pourrait alors apprendre à produire des réponses qui semblent correctes aux yeux des évaluateurs plutôt que des réponses exactes. Les recherches sur le superalignement cherchent des moyens de superviser, tester et corriger ces systèmes malgré tout.

Origine du terme#

OpenAI a introduit le superalignement le 5 juillet 2023 avec une équipe codirigée par Ilya Sutskever, scientifique en chef, et Jan Leike, responsable de l’alignement. L’entreprise s’est engagée à consacrer 20 % de la puissance de calcul qu’elle avait obtenue jusque-là à ce projet et s’est fixé pour objectif de résoudre les principaux défis techniques liés à l’alignement de la superintelligence en quatre ans. Son plan consistait à créer un chercheur automatisé en alignement d’un niveau à peu près humain, puis à développer ces recherches avec davantage de puissance de calcul. OpenAI a dissous l’équipe en mai 2024, après le départ des deux responsables. Le terme reste utilisé pour désigner le problème général.

Le superalignement est un sous-ensemble de l’alignement de l’IA. L’alignement concerne tout système qui poursuit les intentions de ses concepteurs, grâce à des méthodes comme RLHF, l’IA constitutionnelle et l’optimisation directe des préférences, qui supposent qu’un humain ou des règles écrites par un humain peuvent évaluer les sorties. Le superalignement concerne les cas où cette hypothèse échoue, ce qui se produit avec les systèmes dépassant le niveau humain, comme une future intelligence artificielle générale (AGI) ou la superintelligence. Il fait partie de la sécurité de l’IA, aux côtés des travaux sur les utilisations malveillantes et les accidents.

Généralisation du faible au fort#

Comme les modèles surhumains n’existent pas encore, le premier article de l’équipe, Weak-to-Strong Generalization, écrit par Collin Burns et ses collègues en décembre 2023, a étudié une analogie : un petit modèle joue le rôle du superviseur humain et un grand modèle de fondation celui de l’élève surhumain. Ajusté finement uniquement sur les étiquettes produites par un superviseur du niveau de GPT-2, GPT-4 l’a systématiquement surpassé, tout en restant loin de ses propres capacités complètes. L’ajout d’une perte de confiance auxiliaire, qui récompense l’élève pour ses prédictions confiantes même lorsqu’elles contredisent les étiquettes faibles, a permis d’atteindre des performances proches de celles de GPT-3.5 sur des tâches de traitement automatique du langage naturel (NLP).

L’article mesure la réussite à l’aide du taux de récupération de l’écart de performance (PGR) : la proportion de l’écart de précision entre un superviseur faible et un modèle fort entraîné sur de vraies étiquettes que l’élève supervisé de manière faible parvient à combler. La même expérience est reproduite à petite échelle avec scikit-learn, en utilisant un arbre de décision peu profond comme superviseur faible et une machine à vecteurs de support (SVM) comme élève fort :

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

L’arbre classe correctement 69,0 % des chiffres de test. Le SVM entraîné uniquement sur ses étiquettes atteint 81,9 %, récupérant 45 % de l’écart par rapport aux 97,4 % d’un SVM entraîné sur de vraies étiquettes. L’élève surpasse son superviseur parce que les erreurs de l’arbre suivent des séparations alignées sur les axes que le SVM régularisé ajuste mal. Beaucoup d’entre elles ne se répercutent donc pas sur ses prédictions. Ultralytics Platform pose la même question à petite échelle : Batch Annotation étiquette un jeu de données entier à l’aide d’un modèle, et un modèle YOLO26 entraîné ensuite sur ces étiquettes ne peut surpasser le modèle d’étiquetage qu’en ne reproduisant pas ses erreurs.

Autres approches#

L’entraînement du faible au fort est l’une des différentes pistes de recherche. La supervision évolutive aide les superviseurs humains grâce à l’IA : dans le débat sur l’IA, proposé par Geoffrey Irving, Paul Christiano et Dario Amodei en 2018, deux modèles défendent des réponses opposées devant un juge humain, selon l’idée qu’il est plus difficile de mentir que de réfuter un mensonge. Les expériences de sandwich évaluent les méthodes de supervision sur des tâches où des non-experts aidés par un modèle doivent égaler les jugements d’experts, qui servent de vérité terrain.

D’autres travaux cherchent à vérifier ce qu’un modèle calcule plutôt que de se limiter à ce qu’il produit. L’interprétabilité mécaniste et les autoencodeurs parcimonieux recherchent des caractéristiques internes liées à la tromperie, et les chercheurs construisent délibérément des modèles mal alignés, comme des agents dormants dotés d’une porte dérobée, afin de vérifier si les méthodes de détection les repèrent. Des comportements qu’un modèle surhumain pourrait exploiter à grande échelle ont déjà été observés dans les grands modèles de langage (LLMs) actuels, notamment la feinte d’alignement pendant l’entraînement, la sous-performance délibérée lors des évaluations et le piratage de la récompense.

Burns et ses collègues présentent l’imitation comme une lacune majeure de leur analogie. GPT-4 n’a jamais été préentraîné pour imiter GPT-2 et les grands élèves ont eu plus de mal à imiter les superviseurs faibles, alors qu’on s’attend à ce qu’un modèle surhumain préentraîné sur des données humaines imite très bien les superviseurs humains, reproduise leurs erreurs et ne produise que des réponses de niveau humain.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique