Superalignment
La superalignement consiste à aligner des systèmes d’IA plus intelligents que les humains chargés de les superviser ; ce problème est étudié au moyen de la généralisation du faible au fort et de la supervision.
La superalignement est le problème qui consiste à aligner des systèmes d’IA beaucoup plus capables que les humains chargés de les superviser. C’est aussi le nom du programme de recherche lancé par OpenAI en 2023 pour s’y attaquer. Les méthodes d’alignement actuelles, comme l’apprentissage par renforcement à partir des retours humains (RLHF), reposent sur des personnes qui évaluent les sorties d’un modèle. Dès qu’un modèle écrit du code, des preuves ou des plans que ses superviseurs ne peuvent pas vérifier de manière fiable, ces évaluations cessent d’être un signal d’entraînement digne de confiance. Un modèle pourrait alors apprendre à produire des réponses qui semblent correctes aux yeux des évaluateurs plutôt que des réponses exactes. Les recherches sur le superalignement cherchent des moyens de superviser, tester et corriger ces systèmes malgré tout.
Origine du terme#
OpenAI a introduit le superalignement le 5 juillet 2023 avec une équipe codirigée par Ilya Sutskever, scientifique en chef, et Jan Leike, responsable de l’alignement. L’entreprise s’est engagée à consacrer 20 % de la puissance de calcul qu’elle avait obtenue jusque-là à ce projet et s’est fixé pour objectif de résoudre les principaux défis techniques liés à l’alignement de la superintelligence en quatre ans. Son plan consistait à créer un chercheur automatisé en alignement d’un niveau à peu près humain, puis à développer ces recherches avec davantage de puissance de calcul. OpenAI a dissous l’équipe en mai 2024, après le départ des deux responsables. Le terme reste utilisé pour désigner le problème général.
Le superalignement est un sous-ensemble de l’alignement de l’IA. L’alignement concerne tout système qui poursuit les intentions de ses concepteurs, grâce à des méthodes comme RLHF, l’IA constitutionnelle et l’optimisation directe des préférences, qui supposent qu’un humain ou des règles écrites par un humain peuvent évaluer les sorties. Le superalignement concerne les cas où cette hypothèse échoue, ce qui se produit avec les systèmes dépassant le niveau humain, comme une future intelligence artificielle générale (AGI) ou la superintelligence. Il fait partie de la sécurité de l’IA, aux côtés des travaux sur les utilisations malveillantes et les accidents.
Généralisation du faible au fort#
Comme les modèles surhumains n’existent pas encore, le premier article de l’équipe, Weak-to-Strong Generalization, écrit par Collin Burns et ses collègues en décembre 2023, a étudié une analogie : un petit modèle joue le rôle du superviseur humain et un grand modèle de fondation celui de l’élève surhumain. Ajusté finement uniquement sur les étiquettes produites par un superviseur du niveau de GPT-2, GPT-4 l’a systématiquement surpassé, tout en restant loin de ses propres capacités complètes. L’ajout d’une perte de confiance auxiliaire, qui récompense l’élève pour ses prédictions confiantes même lorsqu’elles contredisent les étiquettes faibles, a permis d’atteindre des performances proches de celles de GPT-3.5 sur des tâches de traitement automatique du langage naturel (NLP).
L’article mesure la réussite à l’aide du taux de récupération de l’écart de performance (PGR) : la proportion de l’écart de précision entre un superviseur faible et un modèle fort entraîné sur de vraies étiquettes que l’élève supervisé de manière faible parvient à combler. La même expérience est reproduite à petite échelle avec scikit-learn, en utilisant un arbre de décision peu profond comme superviseur faible et une machine à vecteurs de support (SVM) comme élève fort :
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")L’arbre classe correctement 69,0 % des chiffres de test. Le SVM entraîné uniquement sur ses étiquettes atteint 81,9 %, récupérant 45 % de l’écart par rapport aux 97,4 % d’un SVM entraîné sur de vraies étiquettes. L’élève surpasse son superviseur parce que les erreurs de l’arbre suivent des séparations alignées sur les axes que le SVM régularisé ajuste mal. Beaucoup d’entre elles ne se répercutent donc pas sur ses prédictions. Ultralytics Platform pose la même question à petite échelle : Batch Annotation étiquette un jeu de données entier à l’aide d’un modèle, et un modèle YOLO26 entraîné ensuite sur ces étiquettes ne peut surpasser le modèle d’étiquetage qu’en ne reproduisant pas ses erreurs.
Autres approches#
L’entraînement du faible au fort est l’une des différentes pistes de recherche. La supervision évolutive aide les superviseurs humains grâce à l’IA : dans le débat sur l’IA, proposé par Geoffrey Irving, Paul Christiano et Dario Amodei en 2018, deux modèles défendent des réponses opposées devant un juge humain, selon l’idée qu’il est plus difficile de mentir que de réfuter un mensonge. Les expériences de sandwich évaluent les méthodes de supervision sur des tâches où des non-experts aidés par un modèle doivent égaler les jugements d’experts, qui servent de vérité terrain.
D’autres travaux cherchent à vérifier ce qu’un modèle calcule plutôt que de se limiter à ce qu’il produit. L’interprétabilité mécaniste et les autoencodeurs parcimonieux recherchent des caractéristiques internes liées à la tromperie, et les chercheurs construisent délibérément des modèles mal alignés, comme des agents dormants dotés d’une porte dérobée, afin de vérifier si les méthodes de détection les repèrent. Des comportements qu’un modèle surhumain pourrait exploiter à grande échelle ont déjà été observés dans les grands modèles de langage (LLMs) actuels, notamment la feinte d’alignement pendant l’entraînement, la sous-performance délibérée lors des évaluations et le piratage de la récompense.
Burns et ses collègues présentent l’imitation comme une lacune majeure de leur analogie. GPT-4 n’a jamais été préentraîné pour imiter GPT-2 et les grands élèves ont eu plus de mal à imiter les superviseurs faibles, alors qu’on s’attend à ce qu’un modèle surhumain préentraîné sur des données humaines imite très bien les superviseurs humains, reproduise leurs erreurs et ne produise que des réponses de niveau humain.










