Behavioral Cloning

Bắt chước hành vi là một kỹ thuật nền tảng trong học bắt chước, trong đó một tác tử AI học cách thực hiện một tác vụ bằng cách bắt chước nghiêm ngặt một dataset gồm các phần trình diễn của chuyên gia. Thay vì dựa vào một hệ thống phần thưởng phức tạp, model xem việc ra quyết định tuần tự như một bài toán học có giám sát tiêu chuẩn. Bằng cách tiếp nhận hàng nghìn cặp trạng thái-hành động—chẳng hạn như luồng hình ảnh của người vận hành và các chuyển động cần joystick tương ứng—tác tử học một policy ánh xạ trực tiếp các quan sát mới sang những hành động được dự đoán.

Bắt chước hành vi khác với học tăng cường như thế nào#

Trong khi học tăng cường yêu cầu tác tử tương tác với môi trường và học thông qua thử-sai để tối đa hóa tín hiệu phần thưởng, bắt chước hành vi hoàn toàn dựa trên các dataset tĩnh được ghi trước. Vì hoạt động mà không cần tương tác với môi trường hoặc các hàm phần thưởng tường minh, phương pháp này tránh được những phức tạp khi xây dựng một Quy trình quyết định Markov. Tuy nhiên, sự đơn giản này đồng nghĩa với việc tác tử không thể khám phá các giải pháp mới vượt qua hiệu suất của chuyên gia. Các phương pháp học tăng cường ngoại tuyến gần đây thường sử dụng bắt chước hành vi làm điểm khởi đầu vững chắc để ổn định quá trình huấn luyện model ban đầu trước khi tiếp tục tối ưu bằng phần thưởng.

Các ứng dụng trong thực tế#

Bắt chước hành vi được triển khai rộng rãi trong các lĩnh vực mà việc thiết kế một hàm phần thưởng toán học cực kỳ khó, nhưng việc thu thập dữ liệu trình diễn của con người tương đối dễ dàng.

• Lái xe tự động: Các hệ thống tự lái hiện đại, chẳng hạn như NVIDIA DRIVE, sử dụng rộng rãi bắt chước hành vi end-to-end. Bằng cách huấn luyện trên hàng nghìn giờ dữ liệu lái xe của con người, các model học cách xuất trực tiếp góc lái và lệnh tăng tốc từ các luồng thị giác máy tính đầu vào.
• Điều khiển thao tác robot: Các cánh tay robot được điều khiển từ xa sử dụng bắt chước hành vi để học những tác vụ vật lý phức tạp, chẳng hạn như phân loại kiện hàng, lắp ráp các bộ phận đã sản xuất hoặc gấp đồ giặt. Bằng cách ghi lại chính xác góc khớp và trạng thái hình ảnh trong các phần trình diễn của con người, các model có thể tái hiện các kỹ năng vận động tinh với độ chính xác cao.

Vấn đề lỗi tích lũy#

Hạn chế đáng kể nhất của kỹ thuật này là độ lệch hiệp biến, thường được gọi là lỗi tích lũy. Trong quá trình huấn luyện, tác tử chỉ học từ các quỹ đạo hoàn hảo của chuyên gia. Khi thực thi vòng kín trong thế giới thực, một sai sót ban đầu rất nhỏ sẽ đưa tác tử vào một trạng thái xa lạ không có trong dữ liệu huấn luyện. Do thiếu kiến thức để phục hồi, các hành động tiếp theo nhanh chóng suy giảm, dẫn đến thất bại hoàn toàn của tác vụ. Việc giảm thiểu vấn đề này đòi hỏi các dataset lớn và đa dạng, cùng với tăng cường dữ liệu có mục tiêu.

Những tiến bộ gần đây: Policy khuếch tán và phân đoạn hành động#

Để khắc phục các hạn chế truyền thống, các kiến trúc deep learning hiện đại đang tích hợp các kỹ thuật sinh. Policy khuếch tán khai thác framework toán học của các model khuếch tán để biểu diễn những phân phối hành động đa phương thức, cực kỳ phức tạp, cho phép tác tử xử lý linh hoạt các tình huống mơ hồ—một khái niệm được nghiên cứu chuyên sâu trong các nghiên cứu robot gần đây. Đồng thời, phân đoạn hành động cho phép tác tử dự đoán một chuỗi hành động trong tương lai thay vì chỉ một bước, giảm tần suất xảy ra lỗi phản ứng và đảm bảo quá trình thực thi mượt mà hơn.

Triển khai thực tế với thị giác máy tính#

Trong thực tế, bắt chước hành vi dựa vào một backbone perception mạnh để trích xuất các trạng thái của môi trường trước khi truyền chúng vào mạng policy. Khi sử dụng Ultralytics Platform để quản lý dataset, các developer thường kết hợp các model phát hiện đối tượng tốc độ cao với các thư viện mạng nơ-ron như PyTorch hoặc các package điều khiển chuyên biệt như TorchRL.

Đoạn mã Python sau đây minh họa cách Ultralytics YOLO26 có thể đóng vai trò lớp perception, trích xuất các tọa độ không gian để truyền vào một policy bắt chước hành vi PyTorch cơ bản nhằm dự đoán hành động điều khiển.

import torch
import torch.nn as nn
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model as the perception layer
perception_model = YOLO("yolo26n.pt")
results = perception_model("robot_camera_feed.jpg")

# Extract the bounding box center to define the current environmental state
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xywh.squeeze()
    state = torch.tensor([box[0], box[1]])  # x, y center coordinates

    # A simplified PyTorch Behavioral Cloning policy mapping states to actions
    bc_policy = nn.Linear(in_features=2, out_features=1)

    # Predict the expert-cloned action (e.g., a steering angle)
    predicted_action = bc_policy(state)
    print(f"Predicted cloned action: {predicted_action.item()}")

Khi các tổ chức như OpenAI và Anthropic thúc đẩy nghiên cứu hướng tới các foundation model cho trí tuệ vật lý, bắt chước hành vi sẽ tiếp tục là nền tảng để dạy máy móc diễn giải và điều hướng trong các môi trường phức tạp của thế giới thực.