Reinforcement Learning from Human Feedback (RLHF)

L'apprendimento per rinforzo dal feedback umano (RLHF) è una tecnica avanzata di machine learning che perfeziona i modelli di intelligenza artificiale incorporando l'input umano diretto nel ciclo di addestramento. A differenza del supervised learning standard, che si basa esclusivamente su dataset statici etichettati, RLHF introduce un meccanismo di feedback dinamico in cui i valutatori umani classificano o valutano gli output del modello. Questo processo consente all'AI di cogliere obiettivi complessi, soggettivi o ricchi di sfumature, come "utilità", "sicurezza" o "creatività", difficili da definire con una semplice funzione di perdita matematica. RLHF è diventato un elemento fondamentale nello sviluppo dei moderni modelli linguistici di grandi dimensioni (LLMs) e dell'AI generativa, assicurando che i potenti modelli di base siano allineati in modo efficace ai valori umani e alle intenzioni degli utenti.

I componenti fondamentali di RLHF#

Il processo RLHF segue generalmente una pipeline in tre fasi, progettata per colmare il divario tra le capacità predittive grezze e un comportamento allineato ai valori umani.

1. Supervised Fine-Tuning (SFT): il flusso di lavoro inizia in genere con un modello di base pre-addestrato. Gli sviluppatori eseguono un fine-tuning iniziale utilizzando un dataset più piccolo e di alta qualità, composto da esempi dimostrativi (ad esempio, coppie di domande e risposte scritte da esperti). Questo passaggio stabilisce una politica di base, insegnando al modello il formato generale e il tono previsti per l'attività.

2. Addestramento del modello di ricompensa: questa fase è l'elemento distintivo di RLHF. Gli annotatori umani esaminano diversi output generati dal modello per lo stesso input e li classificano dal migliore al peggiore. Questo lavoro di etichettatura dei dati genera un dataset di preferenze. Una rete neurale separata, chiamata modello di ricompensa, viene addestrata su questi dati di confronto per prevedere un punteggio scalare che rifletta il giudizio umano. Gli strumenti disponibili sulla Ultralytics Platform possono semplificare la gestione di questi flussi di lavoro di annotazione.

3. Ottimizzazione tramite apprendimento per rinforzo: infine, il modello originale agisce come agente di AI all'interno di un ambiente di apprendimento per rinforzo. Utilizzando il modello di ricompensa come guida, algoritmi di ottimizzazione come l'Ottimizzazione della politica prossimale (PPO) regolano i parametri del modello per massimizzare la ricompensa attesa. Questo passaggio allinea la politica del modello alle preferenze umane apprese, incoraggiando comportamenti utili e sicuri e scoraggiando output tossici o privi di senso.

Applicazioni nel mondo reale#

RLHF si è dimostrato fondamentale per implementare sistemi di AI che richiedono elevati standard di sicurezza e una comprensione ricca di sfumature dell'interazione umana.

• AI conversazionale e chatbot: l'applicazione più significativa di RLHF consiste nell'allineare i chatbot affinché siano utili, innocui e onesti. Penalizzando gli output faziosi, fattualmente errati o pericolosi, RLHF contribuisce a mitigare le allucinazioni negli LLMs e riduce il rischio di bias algoritmico. Questo garantisce che gli assistenti virtuali possano rifiutare istruzioni dannose, rimanendo al contempo utili per le richieste legittime.
• Robotica e controllo fisico: RLHF va oltre il testo e si applica all'AI nella robotica, dove definire una funzione di ricompensa perfetta per attività fisiche complesse è difficile. Ad esempio, un robot che impara a muoversi in un magazzino affollato potrebbe ricevere feedback dai supervisori umani sulle traiettorie sicure e su quelle che hanno causato interruzioni. Questo feedback perfeziona la politica di controllo del robot in modo più efficace rispetto al semplice apprendimento per rinforzo profondo basato esclusivamente sul completamento dell'obiettivo.

RLHF rispetto all'apprendimento per rinforzo standard#

È utile distinguere RLHF dall'apprendimento per rinforzo (RL) tradizionale per comprenderne l'utilità specifica.

• RL standard: negli scenari tradizionali, la funzione di ricompensa è spesso codificata direttamente dall'ambiente. Ad esempio, in un videogioco, l'ambiente fornisce un segnale chiaro (+1 per una vittoria, -1 per una sconfitta). L'agente ottimizza le proprie azioni all'interno di questo processo decisionale di Markov (MDP) definito.
• RLHF: in molti scenari del mondo reale, come scrivere una storia creativa o guidare in modo cortese, il "successo" è soggettivo. RLHF risolve il problema sostituendo la ricompensa codificata direttamente con un modello di ricompensa appreso e derivato dalle preferenze umane. Ciò consente di ottimizzare concetti astratti come "qualità" o "appropriatezza", impossibili da programmare esplicitamente.

Integrazione della percezione con i cicli di feedback#

Nelle applicazioni visive, gli agenti allineati tramite RLHF spesso si affidano alla visione artificiale (CV) per percepire lo stato dell'ambiente prima di agire. Un rilevatore robusto, come YOLO26, funge da livello di percezione e fornisce osservazioni strutturate (ad esempio, "ostacolo rilevato a 3 metri") che la rete della politica utilizza per selezionare un'azione.

Il seguente esempio in Python illustra un concetto semplificato in cui un modello YOLO fornisce lo stato dell'ambiente. In un ciclo RLHF completo, il segnale di "ricompensa" proverrebbe da un modello addestrato sul feedback umano relativo alle decisioni dell'agente basate su questi dati di rilevamento.

from ultralytics import YOLO

# Load YOLO26n to act as the perception layer for an intelligent agent
model = YOLO("yolo26n.pt")

# The agent observes the environment (an image) to determine its state
results = model("https://ultralytics.com/images/bus.jpg")

# In an RL context, the 'state' is derived from detections
# A reward model (trained via RLHF) would evaluate the action taken based on this state
detected_objects = len(results[0].boxes)

print(f"Agent Observation: Detected {detected_objects} objects.")
# Example output: Agent Observation: Detected 4 objects.

Combinando potenti modelli di percezione con politiche perfezionate tramite il feedback umano, gli sviluppatori possono costruire sistemi non solo intelligenti, ma anche rigorosamente allineati ai principi della sicurezza dell'AI. La ricerca in corso sulla supervisione scalabile, come la Constitutional AI, continua a far evolvere questo settore, con l'obiettivo di ridurre il collo di bottiglia dell'annotazione umana su larga scala mantenendo al contempo elevate prestazioni del modello.