Behavioral Cloning

행동 복제는 모방 학습의 기반이 되는 기법으로, AI 에이전트가 전문가 시연 데이터셋을 엄격하게 모방하여 작업을 수행하는 방법을 학습합니다. 복잡한 보상 시스템에 의존하는 대신, 모델은 순차적 의사결정을 표준 지도 학습 문제로 처리합니다. 에이전트는 수천 개의 상태-행동 쌍(예: 인간 운영자의 시각 피드와 이에 대응하는 조이스틱 조작)을 입력받아 새로운 관측값을 예측된 행동에 직접 매핑하는 정책을 학습합니다.

행동 복제와 강화 학습의 차이점#

강화 학습은 에이전트가 환경과 상호작용하고 보상 신호를 최대화하기 위해 시행착오를 통해 학습해야 하는 반면, 행동 복제는 전적으로 정적이고 사전 기록된 데이터셋에 의존합니다. 환경과 상호작용하거나 명시적인 보상 함수를 사용하지 않으므로 마르코프 의사결정 프로세스를 수립하는 복잡성을 피할 수 있습니다. 그러나 이러한 단순성 때문에 에이전트는 전문가의 성능을 뛰어넘는 새로운 해결책을 발견할 수 없습니다. 최근의 오프라인 강화 학습 방법은 추가로 보상을 사용해 최적화하기 전에 초기 모델 학습을 안정화하는 견고한 시작점으로 행동 복제를 사용하는 경우가 많습니다.

실제 적용 사례#

행동 복제는 수학적 보상 함수를 설계하기는 매우 어렵지만 인간의 시연 데이터를 수집하기는 비교적 쉬운 분야에서 널리 활용됩니다.

• 자율 주행: NVIDIA DRIVE와 같은 최신 자율 주행 시스템은 엔드투엔드 행동 복제를 적극적으로 활용합니다. 모델은 수천 시간의 인간 운전 데이터로 학습하여 입력되는 컴퓨터 비전 피드에서 조향각과 가속 명령을 직접 출력하는 방법을 학습합니다.
• 로보틱스 조작: 원격 조작 로봇 팔은 행동 복제를 사용하여 패키지 분류, 제조 부품 조립, 세탁물 개기와 같은 복잡한 물리적 작업을 학습합니다. 인간의 시연에서 정확한 관절 각도와 시각적 상태를 기록하면 모델은 미세 운동 기술을 높은 정밀도로 재현할 수 있습니다.

누적 오류 문제#

이 기법의 가장 중요한 한계는 일반적으로 누적 오류라고 하는 공변량 시프트입니다. 학습 중 에이전트는 완벽한 전문가 궤적만 학습합니다. 실제 폐루프 실행에서는 처음 발생한 아주 작은 실수가 에이전트를 학습 데이터에 존재하지 않는 낯선 상태로 이동시킵니다. 복구에 필요한 지식이 부족하면 이후 행동의 품질이 빠르게 저하되어 결국 작업 전체가 실패합니다. 이 문제를 완화하려면 방대하고 다양한 데이터셋과 목적에 맞는 데이터 증강이 필요합니다.

최근의 발전: 확산 정책과 행동 청킹#

기존의 한계를 극복하기 위해 최신 딥러닝 아키텍처는 생성 기법을 통합하고 있습니다. 확산 정책은 확산 모델의 수학적 프레임워크를 활용하여 매우 복잡하고 다중 모드인 행동 분포를 표현하므로, 에이전트가 모호한 상황을 유연하게 처리할 수 있습니다. 이 개념은 최근 로보틱스 연구에서 심도 있게 다뤄지고 있습니다. 동시에 행동 청킹은 에이전트가 단일 단계가 아닌 미래 행동의 시퀀스를 예측하도록 하여 반응적 오류의 빈도를 줄이고 더욱 원활한 실행을 보장합니다.

컴퓨터 비전을 활용한 실제 구현#

실제로 행동 복제는 환경 상태를 추출한 후 이를 정책 네트워크에 전달하기 위해 강력한 인식 백본을 사용합니다. 개발자는 데이터셋을 관리하는 Ultralytics Platform을 사용하면서 고속 객체 감지 모델을 PyTorch와 같은 신경망 라이브러리 또는 TorchRL과 같은 특수 제어 패키지와 함께 사용하는 경우가 많습니다.

다음 Python 코드는 Ultralytics YOLO26이 인식 계층으로 작동하여 공간 좌표를 추출하고, 이를 기본 PyTorch 행동 복제 정책에 입력해 조향 행동을 예측하는 방법을 보여줍니다.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

OpenAI와 Anthropic 같은 조직의 연구가 물리적 지능을 위한 파운데이션 모델을 향해 나아감에 따라, 행동 복제는 기계가 복잡한 실제 환경을 해석하고 탐색하도록 가르치는 핵심 기술로 계속 자리할 것입니다.