Behavioral Cloning

Le clonage comportemental est une technique fondamentale de l’apprentissage par imitation, dans laquelle un agent d’IA apprend à effectuer une tâche en imitant strictement un ensemble de données constitué de démonstrations d’experts. Plutôt que de s’appuyer sur un système de récompense complexe, le modèle traite la prise de décision séquentielle comme un problème standard d’apprentissage supervisé. En ingérant des milliers de paires état-action, comme le flux vidéo d’un opérateur humain et les mouvements correspondants de son joystick, l’agent apprend une politique qui associe directement de nouvelles observations aux actions prédites.

Différences entre le clonage comportemental et l’apprentissage par renforcement#

Alors que l’apprentissage par renforcement exige qu’un agent interagisse avec un environnement et apprenne par essais et erreurs en maximisant un signal de récompense, le clonage comportemental repose entièrement sur des ensembles de données statiques préenregistrés. Comme il fonctionne sans interaction avec l’environnement ni fonctions de récompense explicites, il évite les difficultés liées à la formulation d’un processus de décision de Markov. Cependant, cette simplicité signifie que l’agent ne peut pas découvrir de nouvelles solutions dépassant les performances de l’expert. Les méthodes récentes d’apprentissage par renforcement hors ligne utilisent souvent le clonage comportemental comme point de départ robuste pour stabiliser l’entraînement initial du modèle avant de poursuivre l’optimisation avec des récompenses.

Applications concrètes#

Le clonage comportemental est largement utilisé dans les domaines où concevoir une fonction de récompense mathématique est extrêmement difficile, mais où recueillir des données de démonstration humaine est relativement simple.

• Conduite autonome : Les systèmes modernes de conduite autonome, comme NVIDIA DRIVE, utilisent largement le clonage comportemental de bout en bout. En s’entraînant sur des milliers d’heures de données de conduite humaine, les modèles apprennent à produire directement des angles de braquage et des commandes d’accélération à partir des flux entrants de vision par ordinateur.
• Manipulation robotique : Les bras robotiques téléopérés utilisent le clonage comportemental pour apprendre des tâches physiques complexes, comme trier des colis, assembler des pièces manufacturées ou plier du linge. En enregistrant les angles exacts des articulations et les états visuels des démonstrations humaines, les modèles peuvent reproduire des gestes précis avec une grande exactitude.

Le problème des erreurs cumulatives#

La principale limite de cette technique est le décalage de covariables, couramment appelé erreurs cumulatives. Pendant l’entraînement, l’agent n’apprend qu’à partir de trajectoires parfaites fournies par l’expert. Lors de l’exécution en boucle fermée dans le monde réel, une minuscule erreur initiale entraîne l’agent dans un état inhabituel, absent des données d’entraînement. Faute de connaissances pour se rétablir, les actions suivantes se dégradent rapidement, ce qui conduit à l’échec complet de la tâche. Pour atténuer ce problème, il faut disposer d’ensembles de données massifs et diversifiés ainsi que d’une augmentation ciblée des données.

Avancées récentes : politiques de diffusion et regroupement des actions#

Pour surmonter les limites traditionnelles, les architectures modernes d’apprentissage profond intègrent des techniques génératives. Les politiques de diffusion s’appuient sur le cadre mathématique des modèles de diffusion pour représenter des distributions d’actions hautement complexes et multimodales, permettant aux agents de gérer efficacement les scénarios ambigus, un concept largement étudié dans les recherches récentes en robotique. Parallèlement, le regroupement des actions permet à un agent de prédire une séquence d’actions futures plutôt qu’une seule étape, réduisant la fréquence des erreurs réactives et garantissant une exécution plus fluide.

Mise en œuvre pratique avec la vision par ordinateur#

En pratique, le clonage comportemental repose sur un backbone de perception robuste pour extraire les états de l’environnement avant de les transmettre au réseau de politique. Pour gérer les ensembles de données avec l’Ultralytics Platform, les développeurs associent souvent des modèles de détection d’objets haute vitesse à des bibliothèques de réseaux neuronaux comme PyTorch ou à des packages de contrôle spécialisés comme TorchRL.

L’extrait Python suivant montre comment Ultralytics YOLO26 peut servir de couche de perception, en extrayant des coordonnées spatiales pour les transmettre à une politique de clonage comportemental de base avec PyTorch, qui prédit une action de braquage.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

Alors que les recherches menées par des organisations comme OpenAI et Anthropic font progresser les modèles fondamentaux pour l’intelligence physique, le clonage comportemental restera un pilier de l’apprentissage des machines pour interpréter et parcourir des environnements complexes du monde réel.