Apprendimento con rinforzo dal feedback umano (RLHF)

Come funziona RLHF

L'RLHF comporta in genere un processo in più fasi che integra il giudizio umano per addestrare un modello di ricompensa, che poi guida la messa a punto del modello primario dell'intelligenza artificiale:

1. Pre-training di un modello: Un modello iniziale (ad esempio, un LLM) viene addestrato con metodi standard, spesso con apprendimento supervisionato, su un ampio set di dati. Questo modello è in grado di generare contenuti rilevanti ma può mancare di un allineamento specifico.
2. Raccolta del feedback umano: Il modello pre-addestrato genera diversi output per varie richieste. I valutatori umani classificano questi risultati in base alla qualità, all'utilità, all'innocuità o ad altri criteri desiderati. Questo feedback comparativo è spesso più affidabile e facile da fornire rispetto ai punteggi assoluti. Questi dati costituiscono un set di dati sulle preferenze.
3. Formazione di un modello di ricompensa: Un modello separato, noto come modello di ricompensa, viene addestrato sui dati delle preferenze umane. Il suo obiettivo è quello di prevedere quale uscita preferirebbe un essere umano, imparando essenzialmente a imitare il giudizio umano e ad assegnare un segnale di ricompensa scalare.
4. Messa a punto con l'apprendimento per rinforzo: Il modello originale dell'intelligenza artificiale viene poi perfezionato utilizzando la RL (in particolare, algoritmi come il Proximal Policy Optimization (PPO)). Il modello di ricompensa fornisce il segnale di ricompensa durante questa fase. Il modello di intelligenza artificiale esplora diversi output e quelli favoriti dal modello di ricompensa vengono rafforzati, guidando il comportamento del modello verso le preferenze umane. I concetti fondamentali della RL sono descritti in dettaglio in risorse come l'introduzione di Sutton & Barto.

Questo ciclo iterativo aiuta il modello di intelligenza artificiale ad apprendere obiettivi complessi e soggettivi che sono difficili da definire programmaticamente, migliorando aspetti come l'etica dell'intelligenza artificiale e riducendo i pregiudizi degli algoritmi.

RLHF vs. concetti correlati

• Apprendimento per rinforzo (RL) standard: L'RL tradizionale si basa su funzioni di ricompensa esplicitamente programmate in base agli stati ambientali e alle azioni. L'RLHF lo sostituisce o lo integra con un modello di ricompensa appreso basato sulle preferenze umane, consentendo di cogliere obiettivi più sfumati o soggettivi. Esplora il deep reinforcement learning per tecniche di RL più avanzate.
• IA costituzionale (CAI): Sviluppato da AnthropicCAI è una tecnica di allineamento alternativa. Mentre la RLHF utilizza il feedback umano per addestrare il modello di ricompensa sia per la disponibilità che per l'innocuità, la CAI utilizza il feedback dell'IA guidato da una "costituzione" predefinita (un insieme di regole o principi) per supervisionare il modello per l'innocuità, spesso utilizzando ancora il feedback umano per la disponibilità. Per saperne di più sulla CAI, leggi la ricerca diAnthropic.

Applicazioni chiave di RLHF

La RLHF è diventata sempre più importante nelle applicazioni in cui il comportamento dell'IA deve allinearsi strettamente ai valori e alle aspettative umane:

• Migliorare i chatbot e gli assistenti virtuali: Rendere l'IA conversazionale più coinvolgente, utile e meno incline a generare risposte dannose, distorte o insensate. Ciò comporta la messa a punto di modelli come il GPT-4.
• Generazione di contenuti: Affinare i modelli per attività come la sintesi di testi o la generazione di testi per produrre risultati che corrispondano meglio agli stili o agli standard di qualità desiderati.
• Personalizzazione dei sistemi di raccomandazione: Regolare i motori di raccomandazione per suggerire contenuti che gli utenti trovano realmente interessanti o utili, al di là della semplice percentuale di click.
• Sviluppare veicoli autonomi più sicuri: Incorporare le preferenze umane sullo stile di guida (ad esempio, scorrevolezza, assertività) insieme alle regole di sicurezza.

Esempi del mondo reale

Vantaggi di RLHF

• Miglioramento dell'allineamento: Incorpora direttamente le preferenze umane, portando a sistemi di intelligenza artificiale che corrispondono meglio alle intenzioni e ai valori degli utenti.
• Gestione della soggettività: Efficace per compiti in cui la qualità è soggettiva e difficile da definire con una semplice metrica (ad esempio, creatività, cortesia, sicurezza).
• Sicurezza migliorata: Aiuta a ridurre la probabilità che l'IA generi contenuti dannosi, non etici o tendenziosi, imparando dai giudizi umani sui risultati indesiderati.
• Adattabilità: Permette di mettere a punto i modelli per domini o gruppi di utenti specifici sulla base di un feedback mirato.

Sfide e direzioni future

Nonostante i suoi punti di forza, RLHF deve affrontare delle sfide:

• Scalabilità e costi: Raccogliere feedback umani di alta qualità può essere costoso e richiede molto tempo.
• Qualità del feedback e distorsioni: le preferenze umane possono essere incoerenti, distorte o prive di esperienza, il che può portare a distorsioni nel modello di ricompensa. Garantire un feedback diversificato e rappresentativo è fondamentale.
• Reward Hacking: L'IA potrebbe trovare il modo di massimizzare la ricompensa prevista dal modello di ricompensa senza soddisfare effettivamente la preferenza umana prevista (noto come reward hacking o gioco delle specifiche).
• Complessità: l'implementazione dell'intera pipeline RLHF richiede competenze in diverse aree del ML, tra cui l'apprendimento supervisionato, l'apprendimento per rinforzo e la gestione della formazione di modelli su larga scala.

La ricerca futura si concentra su metodi di feedback più efficienti (ad esempio, utilizzando l'assistenza dell'IA per l'etichettatura), attenuando i pregiudizi, migliorando la robustezza dei modelli di ricompensa e applicando l'RLHF a una gamma più ampia di compiti di IA. Strumenti come la libreria TRL diHugging Face facilitano l'implementazione di RLHF. Piattaforme come Ultralytics HUB forniscono un'infrastruttura per la gestione dei dataset e dei modelli di addestramento, che in futuro potrebbero integrare meccanismi di feedback umano per compiti di allineamento specializzati in aree come la computer vision. Per maggiori dettagli su come iniziare a utilizzare queste piattaforme, consulta la guidaUltralytics HUB Quickstart. La comprensione dell'RLHF è sempre più importante per garantire l'efficacia delle operazioni di Machine Learning (MLOps) e la trasparenza dell'IA.