Behavioral Cloning

A clonagem comportamental é uma técnica fundamental na aprendizagem por imitação, na qual um agente de IA aprende a executar uma tarefa imitando rigorosamente um conjunto de dados de demonstrações de especialistas. Em vez de depender de um sistema de recompensas complexo, o modelo trata a tomada de decisões sequenciais como um problema padrão de aprendizagem supervisionada. Ao ingerir milhares de pares estado-ação — como o feed visual de um operador humano e os movimentos correspondentes do joystick —, o agente aprende uma política que mapeia novas observações diretamente para ações previstas.

Como a clonagem comportamental difere da aprendizagem por reforço#

Enquanto a aprendizagem por reforço exige que um agente interaja com um ambiente e aprenda por tentativa e erro, maximizando um sinal de recompensa, a clonagem comportamental depende inteiramente de conjuntos de dados estáticos e pré-gravados. Como funciona sem interação com o ambiente nem funções de recompensa explícitas, evita as complexidades de formular um Processo de Decisão de Markov. No entanto, essa simplicidade significa que o agente não consegue descobrir soluções inovadoras que superem o desempenho do especialista. Os métodos recentes de aprendizagem por reforço offline costumam usar a clonagem comportamental como um ponto de partida robusto para estabilizar o treino do modelo inicial antes de continuar a otimização com recompensas.

Aplicações no mundo real#

A clonagem comportamental é amplamente utilizada em áreas nas quais é extremamente difícil conceber uma função de recompensa matemática, mas é relativamente simples recolher dados de demonstrações humanas.

• Condução autónoma: Os sistemas modernos de condução autónoma, como o NVIDIA DRIVE, utilizam amplamente a clonagem comportamental de ponta a ponta. Ao treinarem com milhares de horas de dados de condução humana, os modelos aprendem a produzir diretamente ângulos de direção e comandos de aceleração a partir de feeds de visão computacional recebidos.
• Manipulação robótica: Os braços robóticos teleoperados utilizam a clonagem comportamental para aprender tarefas físicas complexas, como separar encomendas, montar peças fabricadas ou dobrar roupa. Ao registarem os ângulos exatos das articulações e os estados visuais das demonstrações humanas, os modelos conseguem replicar capacidades motoras finas com elevada precisão.

O problema do erro acumulado#

A limitação mais significativa desta técnica é a mudança de covariáveis, normalmente conhecida como erros acumulados. Durante o treino, o agente aprende apenas com trajetórias perfeitas do especialista. Numa execução real em circuito fechado, um pequeno erro inicial coloca o agente num estado desconhecido que não está presente nos dados de treino. Sem o conhecimento necessário para recuperar, as ações subsequentes degradam-se rapidamente, levando à falha completa da tarefa. Mitigar este problema exige conjuntos de dados grandes e diversificados, além de uma augmentação de dados direcionada.

Avanços recentes: políticas de difusão e segmentação de ações#

Para superar as limitações tradicionais, as arquiteturas modernas de aprendizagem profunda estão a integrar técnicas generativas. As políticas de difusão utilizam o enquadramento matemático dos modelos de difusão para representar distribuições de ações altamente complexas e multimodais, permitindo que os agentes lidem adequadamente com cenários ambíguos, um conceito amplamente explorado na investigação recente em robótica. Paralelamente, a segmentação de ações permite que um agente preveja uma sequência de ações futuras em vez de um único passo, minimizando a frequência de erros reativos e garantindo uma execução mais fluida.

Implementação prática com visão computacional#

Na prática, a clonagem comportamental depende de uma base robusta de perceção para extrair os estados do ambiente antes de os passar à rede de políticas. Ao utilizarem a Ultralytics Platform para gerir conjuntos de dados, os programadores associam frequentemente modelos de deteção de objetos de alta velocidade a bibliotecas de redes neuronais como PyTorch ou a pacotes de controlo especializados como TorchRL.

O seguinte excerto de Python demonstra como Ultralytics YOLO26 pode funcionar como camada de perceção, extraindo coordenadas espaciais para as fornecer a uma política básica de clonagem comportamental em PyTorch que prevê uma ação de direção.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

À medida que a investigação de organizações como a OpenAI e a Anthropic impulsiona o desenvolvimento de modelos fundacionais para a inteligência física, a clonagem comportamental continuará a ser um pilar fundamental para ensinar as máquinas a interpretar e navegar em ambientes complexos do mundo real.