Behavioral Cloning

Поведенческое клонирование — это фундаментальный метод в области обучения с подражанием, при котором агент ИИ учится выполнять задачу, строго имитируя набор данных с демонстрациями эксперта. Вместо сложной системы вознаграждений модель рассматривает последовательное принятие решений как стандартную задачу обучения с учителем. Получая тысячи пар «состояние — действие», например видеопоток от человека-оператора и соответствующие движения джойстика, агент обучается политике, которая напрямую сопоставляет новые наблюдения с прогнозируемыми действиями.

Чем поведенческое клонирование отличается от обучения с подкреплением#

В то время как обучение с подкреплением требует от агента взаимодействовать со средой и учиться методом проб и ошибок, максимизируя сигнал вознаграждения, поведенческое клонирование полностью опирается на статичные предварительно записанные наборы данных. Поскольку этот метод не предполагает взаимодействия со средой или явных функций вознаграждения, он позволяет избежать сложностей формулировки марковского процесса принятия решений. Однако такая простота означает, что агент не может находить новые решения, превосходящие результаты эксперта. Современные методы обучения с подкреплением в офлайн-режиме часто используют поведенческое клонирование как надежную отправную точку для стабилизации начального обучения модели, а затем дополнительно оптимизируют модель с помощью вознаграждений.

Практические применения#

Поведенческое клонирование широко применяется в областях, где разработать математическую функцию вознаграждения чрезвычайно сложно, но собрать данные человеческих демонстраций относительно просто.

• Автономное вождение: современные системы беспилотного вождения, такие как NVIDIA DRIVE, активно используют сквозное поведенческое клонирование. Обучаясь на тысячах часов данных о вождении людей, модели учатся напрямую выдавать углы поворота руля и команды ускорения на основе входящих потоков данных компьютерного зрения.
• Манипуляции роботами: телеуправляемые роботизированные манипуляторы используют поведенческое клонирование для обучения сложным физическим задачам, таким как сортировка посылок, сборка готовых деталей или складывание белья. Записывая точные углы сочленений и визуальные состояния во время демонстраций людей, модели могут с высокой точностью воспроизводить тонкие моторные навыки.

Проблема накопления ошибок#

Наиболее существенное ограничение этого метода — сдвиг ковариат, который обычно называют накоплением ошибок. Во время обучения агент получает данные только об идеальных траекториях эксперта. При выполнении задачи в реальном мире в замкнутом контуре небольшая начальная ошибка переводит агента в незнакомое состояние, отсутствующее в обучающих данных. Не имея знаний для восстановления, он начинает быстро ухудшать последующие действия, что приводит к полному провалу выполнения задачи. Для смягчения этой проблемы требуются огромные разнообразные наборы данных и целенаправленное расширение данных.

Последние достижения: диффузионные политики и разбиение действий на фрагменты#

Чтобы преодолеть традиционные ограничения, современные архитектуры глубокого обучения интегрируют генеративные методы. Диффузионные политики используют математический аппарат диффузионных моделей для представления чрезвычайно сложных мультимодальных распределений действий, позволяя агентам корректно обрабатывать неоднозначные сценарии — концепцию, подробно изучаемую в современных исследованиях в области робототехники. Одновременно разбиение действий на фрагменты позволяет агенту прогнозировать последовательность будущих действий, а не один шаг, снижая частоту реактивных ошибок и обеспечивая более плавное выполнение.

Практическая реализация с компьютерным зрением#

На практике поведенческое клонирование опирается на мощную основу восприятия, которая извлекает состояния среды перед их передачей в сетку политики. Для управления наборами данных на платформе Ultralytics разработчики часто объединяют высокоскоростные модели обнаружения объектов с библиотеками нейронных сетей, такими как PyTorch, или специализированными пакетами управления, такими как TorchRL.

Следующий фрагмент кода на Python демонстрирует, как Ultralytics YOLO26 может выступать в роли слоя восприятия, извлекая пространственные координаты для передачи в базовую политику поведенческого клонирования на PyTorch, которая прогнозирует действие рулевого управления.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

Поскольку исследования организаций, таких как OpenAI и Anthropic, продвигают разработку базовых моделей для физического интеллекта, поведенческое клонирование останется основополагающим методом обучения машин интерпретации сложной окружающей среды реального мира и навигации в ней.