Behavioral Cloning

Клонирование поведения (BC) — простейшая форма обучения с подражанием: агент учится действовать, обучая политику с помощью обычного обучения с учителем предсказывать действие эксперта в каждой ситуации из записанной демонстрации. Обучающие данные представляют собой набор пар «наблюдение — действие», например кадров камеры и угла поворота руля водителем или показаний суставов робота и команд телеоператора; политику обучают с функцией потерь регрессии для непрерывных действий или классификации для дискретных. Для клонирования поведения не нужны ни функция вознаграждения, ни взаимодействие со средой во время обучения, поэтому это обычная отправная точка для обучения роботов, транспортных средств и программных ИИ-агентов на человеческих демонстрациях.

Истоки и классические примеры#

Название появилось благодаря работам Дональда Мичи и его коллег около 1990 года, посвящённым воспроизведению навыков управления человека. Самая известная ранняя демонстрация — «Learning to Fly» Клода Саммута и его коллег, опубликованная в 1992 году: они записали действия людей, управлявших авиасимулятором, и на основе этих записей построили автопилоты на основе деревьев решений. В 1989 году Дин Померло из Университета Карнеги — Меллона уже показал, что небольшая нейронная сеть может управлять тестовым автомобилем по изображениям с камеры.

В 2016 году система сквозного управления автомобилем NVIDIA обучила сверточную нейронную сеть на данных, собранных примерно за 72 часа вождения людьми, чтобы напрямую преобразовывать необработанные пиксели с камеры, направленной вперед, в команды рулевого управления; во время типичной поездки по округу Монмут, штат Нью-Джерси, система самостоятельно управляла автомобилем примерно 98% времени. При дискретных действиях клонирование поведения — это классификация изображений: модель классификации Ultralytics YOLO26, обученная на кадрах с камеры, разложенных по папкам — по одной для каждого действия водителя, например «налево», «прямо» и «направо», — выдает имитируемое действие в качестве своего класса top-1.

Проблема накопления ошибок#

Во время обучения политика видит только состояния, в которых побывал эксперт. При развёртывании она действует в замкнутом цикле, поэтому каждая небольшая ошибка переводит её в состояние, немного отличающееся от состояний из демонстраций, где вероятность новой ошибки выше, а ошибки накапливаются по мере прохождения траектории. Это расхождение состояний при обучении и развёртывании — разновидность сдвига ковариат. В 2010 году Стефан Росс и Дрю Бэгнелл показали, что ожидаемая стоимость клонированной политики может расти пропорционально квадрату длины задачи, даже если ошибка на каждом шаге мала. Метод DAgger (агрегация наборов данных), предложенный Россом, Джеффри Гордоном и Бэгнеллом в 2011 году, уменьшил этот рост до линейного: обученная политика действует, эксперт размечает посещённые ею состояния правильными действиями, а политику переобучают на всех собранных к этому моменту метках.

В этом примере клонируется вручную настроенный контроллер для задачи Gymnasium CartPole, в которой нужно удерживать шест на движущейся тележке в равновесии до 500 шагов, а затем выполняются два раунда DAgger:

import gymnasium as gym
import numpy as np
from sklearn.tree import DecisionTreeClassifier

env = gym.make("CartPole-v1")
expert = lambda obs: int(obs[2] + 0.5 * obs[3] > 0)  # push toward the side the pole leans and falls


def rollout(policy, seed):
    """Run one episode with a policy and return the states it visited."""
    obs, _ = env.reset(seed=seed)
    states, done = [], False
    while not done:
        states.append(obs)
        obs, _, terminated, truncated, _ = env.step(policy(obs))
        done = terminated or truncated
    return states


states = rollout(expert, seed=0)  # one expert demonstration
for i in range(3):
    # Behavioral cloning: fit a classifier from states to the expert's actions
    clone = DecisionTreeClassifier(max_depth=5, random_state=0).fit(states, [expert(s) for s in states])
    policy = lambda obs: int(clone.predict(obs[None])[0])
    steps = np.mean([len(rollout(policy, seed)) for seed in range(100, 110)])
    print(f"Round {i}: {len(states)} labeled states, clone balances for {steps:.0f} steps")
    states += rollout(policy, seed=i + 1)  # DAgger: the expert labels the states the clone visits

Раунд 0 — это обычное клонирование поведения. Клон, обученный на одной 500-шаговой демонстрации эксперта, который удерживает шест в равновесии все 500 шагов, в новых эпизодах удерживает его в среднем 30 шагов. В раунде 1 добавляются 23 состояния, посещённые клоном из раунда 0 в ещё одном эпизоде и размеченные экспертом, благодаря чему средний результат повышается до 135 шагов; после добавления в раунде 2 ещё 70 таких состояний клон удерживает шест в равновесии все 500 шагов.

Другие способы улучшения меняют сами демонстрации. В системе управления автомобилем NVIDIA добавили изображения с левой и правой камер, а также синтетические сдвиги и повороты изображения с камеры; каждому изображению соответствовало рулевое управление, которое возвращало бы автомобиль к центру полосы за две секунды. Это разновидность аугментации данных, обучающая восстановлению траектории. DART добавляет шум в действия демонстратора во время записи, поэтому данные включают примеры исправления экспертом небольших отклонений. Формирование блоков действий позволяет предсказывать сразу несколько будущих действий и тем самым сокращает эффективный горизонт, на котором накапливаются ошибки; политика ACT освоила тонкие задачи двумя руками, например установку аккумулятора в паз, с успехом 80–90% на основе 10 минут демонстраций.

Мультимодальные демонстрации и современные политики#

Когда демонстраторы решают одну и ту же задачу по-разному — например, обходят препятствие слева или справа, — политика регрессии предсказывает среднее значение, то есть действие, которого мог не совершать никто. RT-1 от Google — трансформер, обученный клонированием поведения на 130 000 демонстрациях работы роботов, — может представлять несколько вариантов действий: он разбивает каждую размерность действия на 256 интервалов и предсказывает их как токены. Диффузионные политики моделируют полное распределение действий, постепенно устраняя случайный шум, и стали распространённым выбором для манипуляций в области воплощённого ИИ.

Языковые модели обучают таким же образом. Обучение с тонкой настройкой большой языковой модели (LLM) на ответах, написанных людьми, — основа настройки по инструкциям — представляет собой клонирование поведения на текстовых данных; в статье OpenAI о WebGPT этот этап перед обучением с подкреплением на основе отзывов людей (RLHF) назывался именно так.

Клонирование поведения и смежные понятия#

• Обучение с подкреплением: обучение на сигнале вознаграждения методом проб и ошибок; модель может превзойти демонстратора, чего клонирование поведения сделать не может. Методы офлайн-обучения с подкреплением, например TD3+BC, добавляют компонент клонирования поведения, чтобы обученная политика оставалась близка к записанным данным.
• Обучение с обратным подкреплением: позволяет вывести функцию вознаграждения, объясняющую демонстрации, а затем оптимизировать её. Генеративное обучение с подражанием и состязанием (GAIL) обучает политику до тех пор, пока дискриминатор не перестанет отличать её поведение от поведения эксперта.
• Дистилляция знаний: обучение небольшой модели-ученика воспроизводить выходные данные более крупной модели-учителя. Клонирование поведения обученной политики, а не человека, называется дистилляцией политики.