Behavioral Cloning

L’apprentissage par imitation directe (BC) est la forme la plus simple de l’apprentissage par imitation : un agent apprend à agir en entraînant une politique, par apprentissage supervisé classique, pour prédire l’action effectuée par un expert dans chaque situation d’une démonstration enregistrée. Les données d’entraînement sont un ensemble de paires observation-action, par exemple des images de caméra associées à l’angle de braquage d’un conducteur ou des relevés d’articulations d’un robot associés aux commandes d’un téléopérateur ; la politique est ajustée avec une fonction de perte de régression pour les actions continues ou une fonction de perte de classification pour les actions discrètes. L’apprentissage par imitation directe ne nécessite ni fonction de récompense ni interaction avec l’environnement pendant l’entraînement, ce qui en fait le point de départ habituel pour enseigner aux robots, aux véhicules et aux agents d’IA logiciels à partir de démonstrations humaines.

Origines et exemples classiques#

Le nom vient des travaux de Donald Michie et de ses collègues, vers 1990, sur la reconstitution des compétences humaines de contrôle. La première démonstration la plus connue, « Learning to Fly » de Claude Sammut et de ses collègues en 1992, enregistrait les actions de commande de personnes pilotant un simulateur de vol, puis induisait des pilotes automatiques à arbre de décision à partir des journaux. En 1989, ALVINN, créé par Dean Pomerleau à Carnegie Mellon, avait déjà montré qu’un petit réseau neuronal pouvait diriger un véhicule d’essai à partir d’images de caméra.

Le système de conduite de bout en bout de NVIDIA, en 2016, a été entraîné sur environ 72 heures de conduite humaine à l’aide d’un réseau neuronal convolutif pour convertir directement les pixels bruts d’une caméra orientée vers l’avant en commandes de direction ; lors d’un trajet type dans le comté de Monmouth, dans le New Jersey, il a conduit seul environ 98 % du temps. Avec des actions discrètes, l’apprentissage par imitation directe est de la classification d’images : un modèle de classification Ultralytics YOLO26 entraîné sur des images de caméra réparties dans un dossier par action du conducteur — gauche, tout droit et droite, par exemple — renvoie l’action imitée comme classe top-1.

Le problème de l’accumulation des erreurs#

Pendant l’entraînement, la politique ne voit que les états visités par l’expert. Au déploiement, elle agit en boucle fermée : chaque petite erreur la fait passer à un état légèrement différent de ceux des démonstrations, où elle risque davantage de se tromper à nouveau, et les erreurs s’accumulent au fil de la trajectoire. Ce décalage entre les états d’entraînement et de déploiement est une forme de décalage de covariables. En 2010, Stéphane Ross et Drew Bagnell ont montré que le coût attendu d’une politique imitée peut croître comme le carré de l’horizon de la tâche, même si son erreur par étape est faible. DAgger (agrégation de jeux de données), proposé par Ross, Geoffrey Gordon et Bagnell en 2011, a ramené cette croissance à une progression linéaire : la politique apprise agit, l’expert annote les états qu’elle visite avec les actions correctes, puis la politique est réentraînée sur toutes les annotations recueillies jusque-là.

Cet exemple imite un contrôleur réglé à la main pour la tâche CartPole de Gymnasium, qui doit maintenir un poteau en équilibre sur un chariot mobile pendant 500 étapes au maximum, puis applique deux cycles de DAgger :

import gymnasium as gym
import numpy as np
from sklearn.tree import DecisionTreeClassifier

env = gym.make("CartPole-v1")
expert = lambda obs: int(obs[2] + 0.5 * obs[3] > 0)  # push toward the side the pole leans and falls


def rollout(policy, seed):
    """Run one episode with a policy and return the states it visited."""
    obs, _ = env.reset(seed=seed)
    states, done = [], False
    while not done:
        states.append(obs)
        obs, _, terminated, truncated, _ = env.step(policy(obs))
        done = terminated or truncated
    return states


states = rollout(expert, seed=0)  # one expert demonstration
for i in range(3):
    # Behavioral cloning: fit a classifier from states to the expert's actions
    clone = DecisionTreeClassifier(max_depth=5, random_state=0).fit(states, [expert(s) for s in states])
    policy = lambda obs: int(clone.predict(obs[None])[0])
    steps = np.mean([len(rollout(policy, seed)) for seed in range(100, 110)])
    print(f"Round {i}: {len(states)} labeled states, clone balances for {steps:.0f} steps")
    states += rollout(policy, seed=i + 1)  # DAgger: the expert labels the states the clone visits

Le cycle 0 est un apprentissage par imitation directe classique. Entraîné sur une démonstration de 500 étapes d’un expert qui maintient le poteau en équilibre pendant les 500 étapes, le clone garde le poteau en l’air pendant 30 étapes en moyenne lors de nouveaux épisodes. Le cycle 1 ajoute les 23 états visités par le clone du cycle 0 au cours d’un épisode supplémentaire, annotés par l’expert, et porte la moyenne à 135 étapes ; après l’ajout de 70 autres états au cycle 2, le clone maintient l’équilibre pendant les 500 étapes.

D’autres solutions modifient les démonstrations elles-mêmes. Le système de conduite de NVIDIA a ajouté des images provenant de caméras gauche et droite, ainsi que des décalages et rotations synthétiques du point de vue de la caméra ; chaque image était annotée avec la direction qui ramènerait la voiture au centre de la voie en deux secondes, une forme d’augmentation des données qui enseigne la récupération. DART ajoute du bruit aux actions du démonstrateur pendant l’enregistrement, de sorte que les données incluent les corrections apportées par l’expert aux petites déviations. Le découpage en séquences d’actions prédit plusieurs actions futures à la fois, ce qui réduit l’horizon effectif sur lequel les erreurs s’accumulent ; la politique ACT a appris des tâches bimanuelles précises, comme insérer une batterie, avec un taux de réussite de 80 à 90 % à partir de 10 minutes de démonstrations.

Démonstrations multimodales et politiques modernes#

Lorsque les démonstrateurs résolvent une même situation de différentes façons, par exemple en contournant un obstacle par la gauche ou par la droite, une politique de régression prédit leur moyenne, qui peut correspondre à une action que personne n’a effectuée. RT-1 de Google, un transformer entraîné par apprentissage par imitation directe sur 130 000 démonstrations de robot, peut représenter plusieurs modes, car il discrétise chaque dimension d’action en 256 intervalles et les prédit sous forme de tokens. Les politiques de diffusion modélisent la distribution complète des actions en débruitant du bruit aléatoire et sont devenues un choix courant pour la manipulation en IA incarnée.

Les modèles de langage sont entraînés de la même façon. Le réglage fin supervisé d’un grand modèle de langage (LLM) sur des réponses rédigées par des humains, au cœur du réglage par instructions, est de l’apprentissage par imitation directe appliqué au texte ; l’article d’OpenAI sur WebGPT a d’ailleurs employé exactement ce nom pour l’étape précédant l’apprentissage par renforcement à partir de retours humains (RLHF).

Apprentissage par imitation directe et notions apparentées#

• Apprentissage par renforcement : apprend à partir d’un signal de récompense, par essais et erreurs, et peut dépasser le démonstrateur, contrairement à l’apprentissage par imitation directe. Les méthodes de RL hors ligne comme TD3+BC ajoutent un terme d’apprentissage par imitation directe pour maintenir la politique apprise à proximité des données enregistrées.
• Apprentissage par renforcement inverse : déduit la fonction de récompense qui explique les démonstrations, puis l’optimise. L’apprentissage par imitation antagoniste génératif (GAIL) entraîne une politique jusqu’à ce qu’un discriminateur ne puisse plus distinguer son comportement de celui de l’expert.
• Distillation de connaissances : entraîne un petit modèle étudiant à reproduire les sorties d’un modèle enseignant plus grand. L’imitation directe d’une politique entraînée plutôt que d’un humain s’appelle la distillation de politique.