Behavioral Cloning

La behavioral cloning è una tecnica fondamentale nell'imitation learning in cui un AI agent impara a eseguire un compito imitando rigorosamente un dataset di dimostrazioni esperte. Invece di affidarsi a un complesso sistema di ricompensa, il modello tratta il processo decisionale sequenziale come un problema standard di supervised learning. Acquisendo migliaia di coppie stato-azione, come il feed visivo di un operatore umano e i corrispondenti movimenti del joystick, l'agente apprende una policy che mappa le nuove osservazioni direttamente alle azioni previste.

Link to this sectionIn che modo la Behavioral Cloning differisce dal Reinforcement Learning#

Mentre il reinforcement learning richiede che un agente interagisca con un ambiente e impari per tentativi ed errori massimizzando un segnale di ricompensa, la behavioral cloning si basa interamente su dataset statici e preregistrati. Poiché opera senza interazione con l'ambiente o funzioni di ricompensa esplicite, evita le complessità legate alla formulazione di un Markov Decision Process. Tuttavia, questa semplicità comporta che l'agente non possa scoprire soluzioni innovative che superino le prestazioni dell'esperto. I recenti metodi di offline reinforcement learning utilizzano spesso la behavioral cloning come solido punto di partenza per stabilizzare il model training iniziale prima di procedere con l'ottimizzazione tramite ricompense.

Link to this sectionApplicazioni nel mondo reale#

La behavioral cloning è ampiamente utilizzata in ambiti in cui progettare una funzione di ricompensa matematica è incredibilmente difficile, ma raccogliere dati di dimostrazioni umane è relativamente semplice.

• Autonomous Driving: I moderni sistemi di guida autonoma, come NVIDIA DRIVE, utilizzano intensamente l'end-to-end behavioral cloning. Addestrandosi su migliaia di ore di dati di guida umana, i modelli imparano a produrre angoli di sterzata e comandi di accelerazione direttamente dai feed di computer vision.
• Robotics Manipulation: I bracci robotici teleoperati utilizzano la behavioral cloning per apprendere compiti fisici complessi, come smistare pacchi, assemblare componenti manifatturieri o piegare il bucato. Registrando gli angoli articolari esatti e gli stati visivi delle dimostrazioni umane, i modelli possono replicare abilità motorie fini con alta precisione.

Link to this sectionIl problema dell'errore composto#

Il limite più significativo di questa tecnica è il covariate shift, comunemente noto come errore composto. Durante l'addestramento, l'agente apprende solo da traiettorie esperte perfette. Nell'esecuzione reale a circuito chiuso, un minuscolo errore iniziale sposta l'agente in uno stato sconosciuto non presente nei dati di addestramento. Privo della capacità di recuperare, le azioni successive degradano rapidamente, portando al fallimento completo del compito. Mitigare questo problema richiede dataset massicci e diversificati, oltre a una data augmentation mirata.

Link to this sectionRecenti progressi: Diffusion Policies e Action Chunking#

Per superare i limiti tradizionali, le moderne architetture di deep learning stanno integrando tecniche generative. Le diffusion policies sfruttano il framework matematico dei modelli di diffusione per rappresentare distribuzioni di azioni multimodali altamente complesse, consentendo agli agenti di gestire scenari ambigui con eleganza, un concetto profondamente esplorato in recent robotics research. Contemporaneamente, l'action chunking consente a un agente di prevedere una sequenza di azioni future anziché un singolo passaggio, riducendo la frequenza di errori reattivi e garantendo un'esecuzione più fluida.

Link to this sectionImplementazione pratica con la Computer Vision#

In practice, behavioral cloning relies on a strong perception backbone to extract environmental states before passing them to the policy network. Using the Ultralytics Platform to manage datasets, developers often pair high-speed object detection models with neural network libraries like PyTorch or specialized control packages like TorchRL.

Il seguente snippet Python dimostra come Ultralytics YOLO26 possa fungere da livello di percezione, estraendo coordinate spaziali per alimentare una policy di behavioral cloning basata su PyTorch che prevede un'azione di sterzata.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

Mentre la ricerca di organizzazioni come OpenAI e Anthropic spinge verso modelli di base per l'intelligenza fisica, la behavioral cloning rimarrà una pietra miliare per insegnare alle macchine a interpretare e navigare in complessi ambienti reali.