Reinforcement Learning from Human Feedback (RLHF)

L'apprendimento per rinforzo basato sul feedback umano (RLHF) è un metodo di addestramento che migliora un modello di AI usando i giudizi delle persone sui risultati del modello, anziché un obiettivo definito manualmente. I valutatori umani confrontano coppie o insiemi di risposte del modello; un modello di ricompensa impara a prevedere quale risposta preferirebbero e l'apprendimento per rinforzo affina quindi il modello originale affinché produca risposte a cui il modello di ricompensa assegna punteggi elevati. RLHF esiste perché qualità come la capacità di essere d'aiuto, l'onestà e il tono sono facili da riconoscere per le persone e quasi impossibili da formalizzare come una funzione di perdita. Nel 2017, Christiano et al. usarono RLHF per insegnare nuovi comportamenti agli agenti nei giochi Atari e nei simulatori robotici partendo da circa un'ora di confronti umani, e RLHF divenne la fase finale standard per i modelli linguistici di grandi dimensioni (LLMs) e per altri sistemi di AI generativa dopo InstructGPT di OpenAI e ChatGPT nel 2022.

Come funziona RLHF#

La ricetta classica, descritta nel documento su InstructGPT, prevede tre fasi:

1. Ottimizzazione supervisionata (SFT): Un modello base preaddestrato viene ottimizzato su dimostrazioni scritte da persone, come buone risposte a prompt di esempio, che gli insegnano il formato e il tono attesi.
2. Addestramento del modello di ricompensa: Il modello SFT genera diverse risposte per ogni prompt e gli annotatori le classificano. I circa 40 collaboratori di InstructGPT classificavano da 4 a 9 risposte per prompt. Una copia del modello con un unico output scalare viene addestrata ad assegnare punteggi più alti alle risposte preferite rispetto a quelle scartate.
3. Apprendimento per rinforzo: Il modello SFT diventa una policy e viene ottimizzato con l’ottimizzazione prossimale della policy (PPO) per massimizzare il punteggio del modello di ricompensa, sottraendo una penalità proporzionale alla divergenza KL rispetto al modello SFT. La penalità mantiene la policy vicina al testo scorrevole visto dal modello di ricompensa e impedisce che derivi verso output insoliti che il modello di ricompensa tende a sopravvalutare.

Il coefficiente KL, solitamente indicato con β, determina quanto può cambiare la policy. L’obiettivo regolarizzato con KL ha un ottimo esatto: le probabilità di riferimento ripesate con l’esponenziale della ricompensa divisa per β. Questo esempio NumPy lo calcola per quattro risposte candidate:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

Stampa una policy di [0.46 0.3 0.17 0.07] con β = 10, quasi identica al riferimento, e [0. 0. 0. 1.] con β = 0.1, dove tutta la probabilità si sposta sulla risposta a cui il modello di riferimento assegnava solo il 5%, con una KL pari a 3.00. Un β piccolo permette di ottenere il punteggio più alto dal modello di ricompensa e, se il modello sopravvaluta quella risposta rara, la policy impara a sfruttare un errore anziché soddisfare le persone. La Direct Preference Optimization (DPO) usa lo stesso ottimo in forma chiusa per addestrarsi direttamente su coppie di preferenze, senza un modello di ricompensa separato né un ciclo RL.

Dove si usa RLHF#

• Assistenti conversazionali: I valutatori di InstructGPT preferivano gli output del suo modello RLHF da 1,3 miliardi di parametri rispetto a quelli di GPT-3 da 175 miliardi di parametri. I modelli conversazionali Llama 2 di Meta sono stati ottimizzati rispetto a due modelli di ricompensa distinti: uno per l’utilità e uno per la sicurezza.
• Riassunto automatico: I modelli di riassunto di OpenAI del 2020, addestrati con feedback umano, producevano riassunti che i valutatori preferivano ai riassunti di riferimento scritti da persone nel loro dataset.
• Generazione di immagini: I modelli di ricompensa addestrati sulle valutazioni umane delle immagini generate servono a ottimizzare i modelli testo-immagine affinché seguano fedelmente i prompt e producano immagini che piacciono alle persone.
• Robotica e controllo: Nei compiti in cui è facile giudicare il successo ma difficile definirlo, come un’andatura dall’aspetto naturale o una traiettoria sicura in mezzo alla folla, le persone confrontano brevi video dei tentativi del robot anziché scrivere una funzione di ricompensa.

I modelli visione-linguaggio dei principali fornitori ricevono la stessa ottimizzazione delle preferenze dei chatbot testuali. In Ultralytics Platform Agents, un rilevatore Ultralytics YOLO26 decide quali immagini richiedono un esame più approfondito, e uno di questi modelli dell'elenco dei modelli della Platform, come Google Gemini, segue il prompt del flusso di lavoro per descriverle.

Limiti#

L’etichettatura dei dati basata sulle preferenze umane è lenta e costosa, e i valutatori non sono sempre d’accordo; perciò, il modello di ricompensa apprende una media dei loro gusti e dei loro punti ciechi. I valutatori premiano anche le risposte sicure di sé e compiacenti: uno studio di Anthropic su cinque assistenti ha rilevato che i dati sulle preferenze umane favoriscono risposte in linea con le opinioni dichiarate dall’utente, una delle cause dell’adulazione dell’IA. Un’ottimizzazione eccessiva rispetto a qualsiasi ricompensa appresa finisce per produrre reward hacking, in cui il punteggio del modello di ricompensa continua a salire mentre la qualità effettiva peggiora.

RLHF e metodi correlati#

• Apprendimento per rinforzo standard: L’ambiente fornisce una ricompensa fissa, come il punteggio di un gioco. RLHF apprende la ricompensa dai giudizi umani, perché nessuna ricompensa fissa riesce a rappresentare l’obiettivo.
• Modellazione della ricompensa: Il modello di ricompensa è una componente di RLHF: la rete che trasforma le classifiche umane in un punteggio ottimizzabile dall’algoritmo RL.
• IA costituzionale: Un modello di IA guidato da principi scritti produce le etichette di preferenza al posto delle persone; questa variante si chiama apprendimento per rinforzo da feedback dell’IA (RLAIF).
• Apprendimento per rinforzo con ricompense verificabili (RLVR): Un programma controlla ogni risposta, ad esempio un risultato matematico o un test unitario, e assegna la ricompensa. RLVR, di solito con Group Relative Policy Optimization (GRPO), addestra modelli di ragionamento; le moderne pipeline di post-addestramento usano entrambi gli approcci: ricompense verificabili quando esiste un verificatore e modelli di ricompensa in stile RLHF per i prompt aperti.