Licencia YOLO
Volver al glosario de Ultralytics

Superalignment

La superalineación consiste en alinear sistemas de IA más inteligentes que las personas que los supervisan; se estudia mediante la generalización de débil a fuerte y la supervisión.

La superalineación es el problema de alinear sistemas de IA mucho más capaces que las personas que los supervisan, y también el nombre del programa de investigación que OpenAI puso en marcha en 2023 para abordarlo. Los métodos de alineación actuales, como el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), dependen de que las personas juzguen qué resultados del modelo son mejores. Cuando un modelo escribe código, demostraciones o planes que sus supervisores no pueden comprobar de forma fiable, esos juicios dejan de ser una señal de entrenamiento fiable, y el modelo podría aprender a producir respuestas que parezcan correctas a quienes las evalúan en vez de respuestas correctas. La investigación sobre superalineación busca formas de supervisar, probar y corregir estos sistemas de todos modos.

Origen del término#

OpenAI presentó la superalineación el 5 de julio de 2023, con un equipo codirigido por el científico jefe Ilya Sutskever y el responsable de alineación Jan Leike. La empresa se comprometió a destinar el 20 % de la capacidad de cálculo que había conseguido hasta entonces y se fijó el objetivo de resolver en cuatro años los principales retos técnicos de alinear una superinteligencia. Su plan consistía en crear un investigador de alineación automatizado con capacidades aproximadamente humanas y ampliar después esa investigación con más capacidad de cálculo. OpenAI disolvió el equipo en mayo de 2024, después de que ambos responsables dejaran la empresa; el término sigue utilizándose para referirse al problema general.

La superalineación es una subcategoría de la alineación de la IA. La alineación abarca cualquier sistema que persiga las intenciones de sus diseñadores mediante métodos como RLHF, la IA constitucional y la optimización directa de preferencias, que dan por supuesto que una persona, o unas reglas escritas por una persona, pueden juzgar los resultados. La superalineación abarca los casos en que ese supuesto falla, algo que ocurre con sistemas que superan el nivel humano, como la futura inteligencia artificial general (AGI) y la superinteligencia. Forma parte de la seguridad de la IA, junto con el trabajo sobre usos indebidos y accidentes.

Generalización de débil a fuerte#

Como aún no existen modelos sobrehumanos, el primer artículo del equipo, Generalización de débil a fuerte, de Collin Burns y sus colegas, publicado en diciembre de 2023, estudió una analogía: un modelo pequeño hace de supervisor humano y un modelo fundacional grande, de alumno sobrehumano. Cuando GPT-4 se ajustó únicamente con etiquetas generadas por un supervisor del nivel de GPT-2, superó sistemáticamente a ese supervisor, aunque quedó muy por debajo de su propia capacidad plena. Añadir una pérdida auxiliar de confianza, que recompensa al alumno por hacer predicciones seguras incluso cuando contradicen las etiquetas débiles, permitió recuperar un rendimiento cercano al nivel de GPT-3.5 en tareas de procesamiento del lenguaje natural (NLP).

El artículo mide el éxito como la brecha de rendimiento recuperada (PGR): la proporción de la diferencia de precisión entre el supervisor débil y un modelo fuerte entrenado con etiquetas verdaderas que consigue cerrar el alumno supervisado débilmente. El mismo experimento se ejecuta a pequeña escala con scikit-learn, usando un árbol de decisión poco profundo como supervisor débil y una máquina de vectores de soporte (SVM) como alumno fuerte:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

El árbol clasifica correctamente el 69.0 % de los dígitos de prueba, y la SVM entrenada únicamente con sus etiquetas alcanza el 81.9 %, lo que recupera el 45 % de la diferencia con el 97.4 % de una SVM entrenada con etiquetas verdaderas. El alumno supera a su supervisor porque los errores del árbol siguen divisiones alineadas con los ejes que la SVM regularizada ajusta mal, así que muchos no se trasladan a sus predicciones. Ultralytics Platform plantea la misma cuestión a pequeña escala: Anotación por lotes etiqueta un conjunto de datos completo con un modelo, y un modelo YOLO26 entrenado después con esas etiquetas solo puede superar al modelo que las generó si no copia sus errores.

Otros enfoques#

El entrenamiento de débil a fuerte es una de varias líneas de investigación. La supervisión escalable ayuda a los supervisores humanos con IA: en el debate de IA, propuesto por Geoffrey Irving, Paul Christiano y Dario Amodei en 2018, dos modelos defienden respuestas opuestas ante un juez humano, con la idea de que es más difícil mentir que refutar una mentira. Los experimentos de sándwich ponen a prueba métodos de supervisión en tareas en las que personas no expertas, asistidas por un modelo, deben igualar los juicios de expertos, que se toman como verdad de referencia.

Otros trabajos intentan averiguar qué calcula un modelo, en lugar de limitarse a comprobar qué genera. La interpretabilidad mecanicista y los autocodificadores dispersos buscan características internas vinculadas al engaño, y los investigadores crean deliberadamente modelos desalineados, como agentes durmientes con puertas traseras, para comprobar si los métodos de detección los detectan. Ya se han observado en los grandes modelos de lenguaje (LLMs) actuales comportamientos que un modelo sobrehumano podría explotar a gran escala, como simular la alineación durante el entrenamiento, rendir por debajo de sus capacidades en las evaluaciones y manipular las recompensas.

Burns y sus colegas señalan la imitación como una diferencia importante en su analogía. GPT-4 nunca se preentrenó para imitar a GPT-2, y a los alumnos más grandes les costaba más imitar a los supervisores débiles; en cambio, se espera que un modelo sobrehumano preentrenado con datos humanos imite muy bien a los supervisores humanos, reproduzca sus errores y solo genere respuestas de nivel humano.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático