Superalignment
Il superallineamento è il problema di allineare sistemi di IA più intelligenti dei supervisori umani, studiato tramite la generalizzazione dal debole al forte e la supervisione.
Il superallineamento è il problema di allineare sistemi di IA molto più capaci degli esseri umani che li supervisionano, nonché il nome del programma di ricerca lanciato da OpenAI nel 2023 per affrontarlo. Gli attuali metodi di allineamento, come l'apprendimento per rinforzo dal feedback umano (RLHF), si basano su persone che giudicano quali output del modello siano migliori. Quando un modello scrive codice, dimostrazioni o piani che i supervisori non riescono a verificare in modo affidabile, tali giudizi cessano di essere un segnale di addestramento attendibile e il modello potrebbe imparare a produrre risposte che sembrano giuste ai valutatori anziché risposte corrette. La ricerca sul superallineamento cerca comunque modi per supervisionare, verificare e correggere questi sistemi.
Origine del termine#
Il 5 luglio 2023 OpenAI ha introdotto il superallineamento con un team copresieduto dal capo scienziato Ilya Sutskever e dal responsabile dell'allineamento Jan Leike. L'azienda si è impegnata a destinare il 20% della potenza di calcolo acquisita fino a quel momento e si è posta l'obiettivo di risolvere entro quattro anni le principali sfide tecniche dell'allineamento della superintelligenza. Il piano prevedeva di costruire un ricercatore artificiale dell'allineamento con capacità all'incirca umane e poi ampliare tale attività di ricerca usando più potenza di calcolo. OpenAI ha sciolto il team nel maggio 2024, dopo che entrambi i responsabili avevano lasciato l'azienda; il termine continua a essere usato per indicare il problema generale.
Il superallineamento è un sottoinsieme dell'allineamento dell'IA. L'allineamento riguarda qualsiasi sistema che persegua le intenzioni dei suoi progettisti, attraverso metodi come RLHF, l'IA costituzionale e l'ottimizzazione diretta delle preferenze, che presuppongono che un essere umano, o regole scritte da un essere umano, possano valutare gli output. Il superallineamento riguarda i casi in cui questa ipotesi viene meno, come nei sistemi che superano il livello umano, tra cui la futura intelligenza artificiale generale (AGI) e la superintelligenza. Rientra nella sicurezza dell'IA, insieme alla ricerca su usi impropri e incidenti.
Generalizzazione da debole a forte#
Poiché i modelli sovrumani non esistono ancora, il primo paper del team, Generalizzazione da debole a forte, scritto da Collin Burns e colleghi nel dicembre 2023, ha studiato un'analogia: un modello piccolo interpreta il ruolo del supervisore umano e un grande modello fondazionale quello dello studente sovrumano. Quando GPT-4 è stato ottimizzato solo su etichette prodotte da un supervisore con capacità pari a GPT-2, ha superato sistematicamente quel supervisore, pur restando molto al di sotto delle proprie capacità complete. L'aggiunta di una perdita ausiliaria di confidenza, che premia lo studente per previsioni sicure anche quando contraddicono le etichette deboli, ha recuperato prestazioni prossime a quelle di GPT-3.5 nelle attività di elaborazione del linguaggio naturale (NLP).
Il paper misura il successo tramite il recupero del divario prestazionale (PGR): la frazione del divario di accuratezza tra il supervisore debole e un modello forte addestrato su etichette reali che lo studente supervisionato debolmente riesce a colmare. Lo stesso esperimento viene eseguito su piccola scala con scikit-learn, usando un albero decisionale poco profondo come supervisore debole e una macchina a vettori di supporto (SVM) come studente forte:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")L'albero classifica correttamente il 69,0% delle cifre di test; la SVM addestrata solo sulle sue etichette raggiunge l'81,9%, recuperando il 45% del divario rispetto al 97,4% di una SVM addestrata su etichette reali. Lo studente supera il supervisore perché gli errori dell'albero seguono suddivisioni allineate agli assi che la SVM regolarizzata apprende con difficoltà, quindi molti di essi non si riflettono nelle sue previsioni. Ultralytics Platform pone la stessa domanda su piccola scala: Annotazione in batch applica le etichette a un intero dataset con un modello, e un modello YOLO26 addestrato successivamente su tali etichette può superare il modello che le ha generate solo evitando di copiarne gli errori.
Altri approcci#
L'addestramento da debole a forte è una delle diverse linee di ricerca. La supervisione scalabile fornisce assistenza IA ai supervisori umani: nel dibattito sull'IA, proposto da Geoffrey Irving, Paul Christiano e Dario Amodei nel 2018, due modelli sostengono risposte opposte davanti a un giudice umano, secondo l'ipotesi che sia più difficile mentire che confutare una menzogna. Gli esperimenti di sandwich mettono alla prova i metodi di supervisione su attività in cui non esperti assistiti da un modello devono eguagliare i giudizi degli esperti, che fungono da verità di riferimento.
Altri studi cercano di verificare ciò che un modello calcola, anziché limitarsi a ciò che produce. L'interpretabilità meccanicistica e gli autoencoder sparsi cercano caratteristiche interne associate all'inganno; i ricercatori costruiscono deliberatamente modelli disallineati, come gli agenti dormienti con backdoor, per verificare se i metodi di rilevamento li individuano. Comportamenti che un modello sovrumano potrebbe sfruttare su larga scala sono già stati osservati negli attuali modelli linguistici di grandi dimensioni (LLM), tra cui la simulazione dell'allineamento durante l'addestramento, il rendimento intenzionalmente scarso nelle valutazioni e il reward hacking.
Burns e colleghi indicano l'imitazione come una lacuna importante della loro analogia. GPT-4 non è mai stato preaddestrato per imitare GPT-2 e gli studenti più grandi hanno avuto maggiori difficoltà a imitare supervisori deboli; ci si aspetta invece che un modello sovrumano preaddestrato su dati umani imiti molto bene i supervisori umani, riproducendone gli errori e fornendo solo risposte di livello umano.










