Reward Modeling

Il reward modeling è una tecnica di machine learning utilizzata per insegnare ai sistemi di intelligenza artificiale come valutare e dare priorità ai propri comportamenti basandosi sulle preferenze umane. Negli ambienti tradizionali di reinforcement learning, un AI agent impara massimizzando una funzione di ricompensa matematicamente rigida e predefinita, come il punteggio in un videogioco. Tuttavia, per compiti complessi del mondo reale in cui il comportamento "corretto" è soggettivo o ricco di sfumature, come scrivere un'email educata o attraversare un incrocio in sicurezza, scrivere una funzione di ricompensa perfetta manualmente è quasi impossibile. Il reward modeling risolve questo problema addestrando una neural network secondaria (il modello di ricompensa) affinché funga da proxy per il giudizio umano. Questo modello valuta gli output dell'AI primaria e assegna punteggi scalari, guidando dinamicamente il modello principale verso comportamenti sicuri, utili e accurati.

Link to this sectionCome funziona il Reward Modeling#

La pipeline per costruire un modello di ricompensa si basa pesantemente sulla raccolta di feedback umano di alta qualità.

• Data Labeling e preferenze: Agli annotatori umani vengono forniti dei prompt insieme a risposte multiple generate da un modello AI. I valutatori classificano queste risposte dalla migliore alla peggiore basandosi su criteri come utilità, innocuità e accuratezza. La gestione di questi flussi di lavoro di annotazione su larga scala può essere gestita senza problemi utilizzando la Ultralytics Platform.
• Addestramento della rete proxy: Una neural network specializzata viene addestrata su questo dataset di confronti umani. Attraverso un processo di ottimizzazione, impara a prevedere quale output un essere umano preferirebbe, mappando gli embeddings di un'azione o di una risposta testuale a un singolo valore di ricompensa scalare. Puoi leggere di più sulla creazione di architetture di neural network nella PyTorch API documentation.
• Ottimizzazione della policy: Il modello primario utilizza il feedback continuo proveniente dal modello di ricompensa per affinare le sue azioni, solitamente utilizzando algoritmi come Proximal Policy Optimization (PPO). Questo passaggio allinea iterativamente la policy del modello con l'intento umano appreso.

Link to this sectionReward Modeling vs. RLHF#

È importante differenziare il reward modeling dal Reinforcement Learning from Human Feedback (RLHF). Sebbene i due termini vengano spesso discussi insieme, non sono sinonimi. RLHF è la pipeline completa end-to-end utilizzata per allineare i modelli, che comprende fine-tuning supervisionato, raccolta dati e aggiornamenti della policy. Il reward modeling è un componente specifico e cruciale all'interno della pipeline RLHF. Serve come ponte che traduce le classificazioni umane discrete in un segnale matematico continuo che l'algoritmo di reinforcement learning può ottimizzare.

Link to this sectionApplicazioni nel mondo reale#

Il reward modeling è fondamentale nello sviluppo di moderni sistemi AI che interagiscono direttamente con gli esseri umani e il mondo fisico.

• Large Language Models (LLMs): Gli assistenti AI conversazionali si affidano ai modelli di ricompensa per garantire che le loro risposte non siano solo fattualmente corrette, ma anche educate, pertinenti e prive di linguaggio tossico. Le organizzazioni che esplorano l'AI safety fanno avanzare continuamente il reward modeling per costruire sistemi che riflettano l'helpful and harmless AI alignment.
• Autonomous Vehicles e robotica: Nell'automazione fisica, i modelli di ricompensa aiutano i robot a comprendere complesse etichette di guida o strategie di manipolazione degli oggetti. Un sistema di percezione alimentato da Ultralytics YOLO26 potrebbe rilevare pedoni e segnali stradali, mentre un modello di ricompensa valuta la traiettoria pianificata del veicolo, assicurando che l'AI dia priorità al comfort e alla sicurezza del passeggero rispetto a una navigazione puramente aggressiva punto a punto.

Link to this sectionImplementazione di un concetto di base di modello di ricompensa#

Il seguente esempio Python utilizza torch per dimostrare la struttura fondamentale di un modello di ricompensa. In pratica, questa rete impara ad assegnare un punteggio scalare più elevato a un output che si allinea con le preferenze umane.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Per un approfondimento su come l'allineamento influenzi i foundation model open-source, esplora la ricerca fondamentale sull'allineamento dei modelli linguistici con l'intento umano e impara come i sistemi di computer vision (CV) sfruttano cicli di feedback avanzati per interagire in sicurezza con ambienti dinamici.