Behavioral Cloning

L'apprendimento per imitazione comportamentale (BC) è la forma più semplice di apprendimento per imitazione: un agente impara ad agire addestrando una policy, con il normale apprendimento supervisionato, a prevedere l'azione compiuta da un esperto in ogni situazione di una dimostrazione registrata. I dati di addestramento consistono in coppie osservazione-azione, ad esempio fotogrammi della telecamera abbinati all'angolo di sterzata di un conducente o letture delle articolazioni di un robot abbinate ai comandi di un teleoperatore; la policy viene adattata con una funzione di perdita di regressione per le azioni continue o di classificazione per quelle discrete. L'apprendimento per imitazione comportamentale non richiede una funzione di ricompensa né interazioni con l'ambiente durante l'addestramento, ed è quindi il punto di partenza abituale per insegnare a robot, veicoli e agenti di IA software a partire da dimostrazioni umane.

Origini ed esempi classici#

Il nome deriva dal lavoro svolto intorno al 1990 da Donald Michie e colleghi sulla ricostruzione delle capacità di controllo umane. La prima dimostrazione più nota, «Learning to Fly» di Claude Sammut e colleghi del 1992, registrò le azioni di controllo di persone che pilotavano un simulatore di volo e ricavò dai log autopiloti basati su alberi decisionali. Già nel 1989, ALVINN di Dean Pomerleau alla Carnegie Mellon aveva dimostrato che una piccola rete neurale poteva sterzare un veicolo di prova usando immagini della telecamera.

Il sistema di guida end-to-end di NVIDIA del 2016 ha addestrato una rete neurale convoluzionale su circa 72 ore di guida umana per mappare direttamente i pixel grezzi di una telecamera anteriore sui comandi di sterzata; durante un tragitto tipico nella contea di Monmouth, nel New Jersey, ha sterzato autonomamente per circa il 98% del tempo. Con azioni discrete, la clonazione comportamentale è classificazione di immagini: un modello di classificazione Ultralytics YOLO26 addestrato su fotogrammi della telecamera ordinati in una cartella per ciascuna azione compiuta dal conducente, come sinistra, dritto e destra, restituisce l'azione imitata come classe top-1.

Il problema degli errori cumulativi#

Durante l'addestramento, la policy vede solo gli stati visitati dall'esperto. In fase di distribuzione agisce in un ciclo chiuso, quindi ogni piccolo errore la porta in uno stato leggermente diverso da quelli presenti nelle dimostrazioni, dove è più probabile che sbagli di nuovo; gli errori si accumulano lungo la traiettoria. Questa discrepanza tra gli stati di addestramento e quelli di distribuzione è una forma di spostamento delle covariate. Nel 2010 Stéphane Ross e Drew Bagnell dimostrarono che il costo atteso di una policy imitata può crescere con il quadrato dell'orizzonte dell'attività, anche quando l'errore per passo è piccolo. DAgger (aggregazione dei dataset), introdotto da Ross, Geoffrey Gordon e Bagnell nel 2011, riduce la crescita a lineare: la policy appresa agisce, l'esperto etichetta gli stati che visita con le azioni corrette e la policy viene riaddestrata su tutte le etichette raccolte fino a quel momento.

Questo esempio imita un controller ottimizzato manualmente per l'attività CartPole di Gymnasium, in cui un palo deve restare in equilibrio su un carrello in movimento per un massimo di 500 passi, e applica poi due iterazioni di DAgger:

import gymnasium as gym
import numpy as np
from sklearn.tree import DecisionTreeClassifier

env = gym.make("CartPole-v1")
expert = lambda obs: int(obs[2] + 0.5 * obs[3] > 0)  # push toward the side the pole leans and falls


def rollout(policy, seed):
    """Run one episode with a policy and return the states it visited."""
    obs, _ = env.reset(seed=seed)
    states, done = [], False
    while not done:
        states.append(obs)
        obs, _, terminated, truncated, _ = env.step(policy(obs))
        done = terminated or truncated
    return states


states = rollout(expert, seed=0)  # one expert demonstration
for i in range(3):
    # Behavioral cloning: fit a classifier from states to the expert's actions
    clone = DecisionTreeClassifier(max_depth=5, random_state=0).fit(states, [expert(s) for s in states])
    policy = lambda obs: int(clone.predict(obs[None])[0])
    steps = np.mean([len(rollout(policy, seed)) for seed in range(100, 110)])
    print(f"Round {i}: {len(states)} labeled states, clone balances for {steps:.0f} steps")
    states += rollout(policy, seed=i + 1)  # DAgger: the expert labels the states the clone visits

L'iterazione 0 consiste nel semplice apprendimento per imitazione comportamentale. Addestrato su un'unica dimostrazione di 500 passi di un esperto che mantiene il palo in equilibrio per tutti i 500 passi, il modello imitativo riesce a tenerlo in piedi per una media di 30 passi in nuovi episodi. L'iterazione 1 aggiunge i 23 stati visitati dal modello imitativo dell'iterazione 0 in un altro episodio, etichettati dall'esperto, e porta la media a 135 passi; dopo altri 70 stati simili nell'iterazione 2, il modello mantiene il palo in equilibrio per tutti i 500 passi.

Altre soluzioni modificano le dimostrazioni stesse. Il sistema di guida di NVIDIA ha aggiunto immagini provenienti dalle telecamere sinistra e destra, oltre a spostamenti e rotazioni sintetici del punto di vista della telecamera, ciascuno etichettato con la sterzata necessaria a riportare l'auto al centro della corsia entro due secondi: una forma di aumento dei dati che insegna il recupero. DART introduce rumore nelle azioni del dimostratore durante la registrazione, così i dati includono la correzione da parte dell'esperto di piccole deviazioni. Il raggruppamento delle azioni prevede più azioni future alla volta, riducendo l'orizzonte effettivo su cui si accumulano gli errori; la policy ACT ha appreso attività bimanuali di precisione, come inserire una batteria in uno slot, con un tasso di successo dell'80-90% usando 10 minuti di dimostrazioni.

Dimostrazioni multimodali e policy moderne#

Quando i dimostratori risolvono la stessa situazione in modi diversi, ad esempio passando a sinistra o a destra di un ostacolo, una policy di regressione prevede la loro media, che potrebbe corrispondere a un'azione che nessuno ha eseguito. RT-1 di Google, un Transformer addestrato con l'apprendimento per imitazione comportamentale su 130.000 dimostrazioni robotiche, può rappresentare diverse modalità perché discretizza ogni dimensione dell'azione in 256 intervalli e le prevede come token. Le policy di diffusione modellano la distribuzione completa delle azioni rimuovendo gradualmente il rumore casuale e sono diventate una scelta comune per la manipolazione nell'IA incarnata.

I modelli linguistici vengono addestrati allo stesso modo. Il fine-tuning supervisionato di un modello linguistico di grandi dimensioni (LLM) su risposte scritte da esseri umani, alla base dell'addestramento alle istruzioni, è apprendimento per imitazione comportamentale applicato al testo; nel suo articolo su WebGPT, OpenAI usò proprio questo termine per la fase precedente all'apprendimento per rinforzo dal feedback umano (RLHF).

Apprendimento per imitazione comportamentale e termini correlati#

• Apprendimento per rinforzo: apprende da un segnale di ricompensa attraverso tentativi ed errori e può superare il dimostratore, cosa che l'apprendimento per imitazione comportamentale non può fare. I metodi di apprendimento per rinforzo offline, come TD3+BC, aggiungono un termine di apprendimento per imitazione comportamentale per mantenere la policy appresa vicina ai dati registrati.
• Apprendimento per rinforzo inverso: deduce la funzione di ricompensa che spiega le dimostrazioni e poi la ottimizza. L'apprendimento per imitazione generativa avversaria (GAIL) addestra una policy finché un discriminatore non riesce più a distinguerne il comportamento da quello dell'esperto.
• Distillazione della conoscenza: addestra un modello studente piccolo a riprodurre le uscite di un modello insegnante più grande. L'imitazione comportamentale di una policy addestrata, anziché di una persona, si chiama distillazione della policy.