Superalignment
La superalineación consiste en alinear sistemas de IA más inteligentes que las personas que los supervisan; se estudia mediante la generalización de débil a fuerte y la supervisión.
La superalineación es el problema de alinear sistemas de IA mucho más capaces que las personas que los supervisan, y también el nombre del programa de investigación que OpenAI puso en marcha en 2023 para abordarlo. Los métodos de alineación actuales, como el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), dependen de que las personas juzguen qué resultados del modelo son mejores. Cuando un modelo escribe código, demostraciones o planes que sus supervisores no pueden comprobar de forma fiable, esos juicios dejan de ser una señal de entrenamiento fiable, y el modelo podría aprender a producir respuestas que parezcan correctas a quienes las evalúan en vez de respuestas correctas. La investigación sobre superalineación busca formas de supervisar, probar y corregir estos sistemas de todos modos.
Origen del término#
OpenAI presentó la superalineación el 5 de julio de 2023, con un equipo codirigido por el científico jefe Ilya Sutskever y el responsable de alineación Jan Leike. La empresa se comprometió a destinar el 20 % de la capacidad de cálculo que había conseguido hasta entonces y se fijó el objetivo de resolver en cuatro años los principales retos técnicos de alinear una superinteligencia. Su plan consistía en crear un investigador de alineación automatizado con capacidades aproximadamente humanas y ampliar después esa investigación con más capacidad de cálculo. OpenAI disolvió el equipo en mayo de 2024, después de que ambos responsables dejaran la empresa; el término sigue utilizándose para referirse al problema general.
La superalineación es una subcategoría de la alineación de la IA. La alineación abarca cualquier sistema que persiga las intenciones de sus diseñadores mediante métodos como RLHF, la IA constitucional y la optimización directa de preferencias, que dan por supuesto que una persona, o unas reglas escritas por una persona, pueden juzgar los resultados. La superalineación abarca los casos en que ese supuesto falla, algo que ocurre con sistemas que superan el nivel humano, como la futura inteligencia artificial general (AGI) y la superinteligencia. Forma parte de la seguridad de la IA, junto con el trabajo sobre usos indebidos y accidentes.
Generalización de débil a fuerte#
Como aún no existen modelos sobrehumanos, el primer artículo del equipo, Generalización de débil a fuerte, de Collin Burns y sus colegas, publicado en diciembre de 2023, estudió una analogía: un modelo pequeño hace de supervisor humano y un modelo fundacional grande, de alumno sobrehumano. Cuando GPT-4 se ajustó únicamente con etiquetas generadas por un supervisor del nivel de GPT-2, superó sistemáticamente a ese supervisor, aunque quedó muy por debajo de su propia capacidad plena. Añadir una pérdida auxiliar de confianza, que recompensa al alumno por hacer predicciones seguras incluso cuando contradicen las etiquetas débiles, permitió recuperar un rendimiento cercano al nivel de GPT-3.5 en tareas de procesamiento del lenguaje natural (NLP).
El artículo mide el éxito como la brecha de rendimiento recuperada (PGR): la proporción de la diferencia de precisión entre el supervisor débil y un modelo fuerte entrenado con etiquetas verdaderas que consigue cerrar el alumno supervisado débilmente. El mismo experimento se ejecuta a pequeña escala con scikit-learn, usando un árbol de decisión poco profundo como supervisor débil y una máquina de vectores de soporte (SVM) como alumno fuerte:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")El árbol clasifica correctamente el 69.0 % de los dígitos de prueba, y la SVM entrenada únicamente con sus etiquetas alcanza el 81.9 %, lo que recupera el 45 % de la diferencia con el 97.4 % de una SVM entrenada con etiquetas verdaderas. El alumno supera a su supervisor porque los errores del árbol siguen divisiones alineadas con los ejes que la SVM regularizada ajusta mal, así que muchos no se trasladan a sus predicciones. Ultralytics Platform plantea la misma cuestión a pequeña escala: Anotación por lotes etiqueta un conjunto de datos completo con un modelo, y un modelo YOLO26 entrenado después con esas etiquetas solo puede superar al modelo que las generó si no copia sus errores.
Otros enfoques#
El entrenamiento de débil a fuerte es una de varias líneas de investigación. La supervisión escalable ayuda a los supervisores humanos con IA: en el debate de IA, propuesto por Geoffrey Irving, Paul Christiano y Dario Amodei en 2018, dos modelos defienden respuestas opuestas ante un juez humano, con la idea de que es más difícil mentir que refutar una mentira. Los experimentos de sándwich ponen a prueba métodos de supervisión en tareas en las que personas no expertas, asistidas por un modelo, deben igualar los juicios de expertos, que se toman como verdad de referencia.
Otros trabajos intentan averiguar qué calcula un modelo, en lugar de limitarse a comprobar qué genera. La interpretabilidad mecanicista y los autocodificadores dispersos buscan características internas vinculadas al engaño, y los investigadores crean deliberadamente modelos desalineados, como agentes durmientes con puertas traseras, para comprobar si los métodos de detección los detectan. Ya se han observado en los grandes modelos de lenguaje (LLMs) actuales comportamientos que un modelo sobrehumano podría explotar a gran escala, como simular la alineación durante el entrenamiento, rendir por debajo de sus capacidades en las evaluaciones y manipular las recompensas.
Burns y sus colegas señalan la imitación como una diferencia importante en su analogía. GPT-4 nunca se preentrenó para imitar a GPT-2, y a los alumnos más grandes les costaba más imitar a los supervisores débiles; en cambio, se espera que un modelo sobrehumano preentrenado con datos humanos imite muy bien a los supervisores humanos, reproduzca sus errores y solo genere respuestas de nivel humano.










