Behavioral Cloning

الاستنساخ السلوكي (BC) أبسط أشكال التعلم بالمحاكاة: يتعلم الوكيل التصرف بتدريب سياسة، باستخدام التعلم الخاضع للإشراف المعتاد، على توقع الإجراء الذي اتخذه خبير في كل موقف ضمن عرض توضيحي مسجل. وبيانات التدريب عبارة عن مجموعة من أزواج الملاحظات والإجراءات، مثل إطارات الكاميرا المقترنة بزاوية توجيه السائق، أو قراءات مفاصل الروبوت المقترنة بأوامر المشغّل عن بُعد؛ وتُلاءم السياسة بخسارة انحدار للإجراءات المستمرة أو خسارة تصنيف للإجراءات المتقطعة. ولا يحتاج الاستنساخ السلوكي إلى دالة مكافأة أو تفاعل مع البيئة أثناء التدريب، ما يجعله نقطة البداية المعتادة لتعليم الروبوتات والمركبات ووكلاء الذكاء الاصطناعي البرمجية من العروض البشرية.

الأصول والأمثلة الكلاسيكية#

يعود الاسم إلى أعمال دونالد ميتشي وزملائه نحو عام 1990 بشأن إعادة بناء مهارات التحكم البشرية. وأشهر عروضه المبكرة، «التعلم على الطيران» لكلود ساموت وزملائه عام 1992، سجّل إجراءات التحكم التي اتخذها أشخاص أثناء قيادة محاكي طيران، واستنبط من السجلات طيارين آليين قائمين على أشجار القرار. وكان نظام ALVINN الذي طوّره دين بومرلو في جامعة كارنيغي ميلون قد أظهر عام 1989 أن شبكة عصبية صغيرة تستطيع توجيه مركبة اختبار اعتمادًا على صور الكاميرا.

درّب نظام القيادة من البداية إلى النهاية الذي طورته NVIDIA عام 2016 شبكة عصبية التفافية على نحو 72 ساعة من القيادة البشرية لتحويل البكسلات الخام التي تلتقطها كاميرا أمامية مباشرةً إلى أوامر التوجيه، وفي رحلة قيادة اعتيادية في مقاطعة مونماوث بولاية نيوجيرسي، كان يوجّه السيارة ذاتيًا نحو 98% من الوقت. ومع الإجراءات المتقطعة، يكون الاستنساخ السلوكي تصنيفًا للصور: إذ يُخرج نموذج تصنيف Ultralytics YOLO26 المدرَّب على إطارات كاميرا مرتبة في مجلد واحد لكل إجراء اتخذه السائق، مثل الانعطاف يسارًا والسير مستقيمًا والانعطاف يمينًا، الإجراء المستنسخ بوصفه الفئة الأعلى ترتيبًا.

مشكلة تراكم الأخطاء#

لا ترى السياسة أثناء التدريب سوى الحالات التي مر بها الخبير. أما عند النشر فتعمل في حلقة مغلقة، لذا يدفعها كل خطأ صغير إلى حالة تختلف قليلًا عن أي حالة في العروض التوضيحية، فتزداد احتمالية ارتكابها خطأً آخر وتتراكم الأخطاء على طول المسار. ويُعد هذا التباين بين حالات التدريب والنشر شكلًا من تحول المتغيرات المصاحبة. وأظهر ستيفان روس ودرو باغنل عام 2010 أن التكلفة المتوقعة لسياسة مستنسخة قد تنمو تربيعيًا مع أفق المهمة حتى عندما يكون خطؤها في كل خطوة صغيرًا. وقد خفّضت DAgger (تجميع مجموعات البيانات)، التي وضعها روس وجيفري غوردون وباغنل عام 2011، هذا النمو إلى نمو خطي: تعمل السياسة المتعلَّمة، ويضع الخبير تسميات للإجراءات الصحيحة في الحالات التي تزورها، ثم يُعاد تدريب السياسة على جميع التسميات التي جُمعت حتى ذلك الحين.

يستنسخ هذا المثال وحدة تحكم مضبوطة يدويًا لمهمة Gymnasium CartPole، التي تتطلب إبقاء عمود متوازنًا على عربة متحركة لمدة تصل إلى 500 خطوة، ثم يطبق جولتين من DAgger:

import gymnasium as gym
import numpy as np
from sklearn.tree import DecisionTreeClassifier

env = gym.make("CartPole-v1")
expert = lambda obs: int(obs[2] + 0.5 * obs[3] > 0)  # push toward the side the pole leans and falls


def rollout(policy, seed):
    """Run one episode with a policy and return the states it visited."""
    obs, _ = env.reset(seed=seed)
    states, done = [], False
    while not done:
        states.append(obs)
        obs, _, terminated, truncated, _ = env.step(policy(obs))
        done = terminated or truncated
    return states


states = rollout(expert, seed=0)  # one expert demonstration
for i in range(3):
    # Behavioral cloning: fit a classifier from states to the expert's actions
    clone = DecisionTreeClassifier(max_depth=5, random_state=0).fit(states, [expert(s) for s in states])
    policy = lambda obs: int(clone.predict(obs[None])[0])
    steps = np.mean([len(rollout(policy, seed)) for seed in range(100, 110)])
    print(f"Round {i}: {len(states)} labeled states, clone balances for {steps:.0f} steps")
    states += rollout(policy, seed=i + 1)  # DAgger: the expert labels the states the clone visits

الجولة 0 هي استنساخ سلوكي عادي. بعد تدريب الاستنساخ على عرض توضيحي واحد من 500 خطوة لخبير يوازن العمود طوال الخطوات الـ500، لا يُبقي الاستنساخ العمود قائمًا إلا لمدة 30 خطوة في المتوسط في الحلقات الجديدة. تضيف الجولة 1 الحالات الـ23 التي زارها استنساخ الجولة 0 في حلقة إضافية، بعد أن يضع الخبير تسميات لها، فترفع المتوسط إلى 135 خطوة؛ وبعد إضافة 70 حالة أخرى من هذا النوع في الجولة 2، يوازن الاستنساخ العمود طوال الخطوات الـ500.

تُعدّل حلول أخرى العروض التوضيحية نفسها. أضاف نظام القيادة من NVIDIA صورًا من كاميرتي اليسار واليمين وإزاحات ودورانات اصطناعية لمشهد الكاميرا، مع وسم كل صورة بالتوجيه الذي يعيد السيارة إلى مركز المسار خلال ثانيتين، وهو شكل من زيادة البيانات يعلّم الاستعادة. وتُدخل DART ضوضاءً في إجراءات المُعرِض أثناء التسجيل، فتتضمن البيانات تصحيح الخبير للانحرافات الصغيرة. وتتنبأ تجزئة الإجراءات بعدة إجراءات مستقبلية دفعة واحدة، ما يقلص الأفق الفعلي الذي تتراكم فيه الأخطاء؛ وقد تعلمت سياسة ACT مهامًا ثنائية اليد دقيقة، مثل إدخال بطارية في مكانها، وحققت نجاحًا بنسبة 80% إلى 90% انطلاقًا من 10 دقائق من العروض التوضيحية.

العروض التوضيحية متعددة الوسائط والسياسات الحديثة#

عندما يحلّ منفّذو العروض التوضيحية الموقف نفسه بطرق مختلفة، مثل اجتياز عائق من اليسار أو من اليمين، تتنبأ سياسة الانحدار بمتوسط أفعالهم، وقد يكون هذا المتوسط إجراءً لم ينفّذه أحد منهم. ويمكن لنظام RT-1 من Google، وهو محوّل دُرّب بالاستنساخ السلوكي على 130,000 عرض توضيحي للروبوتات، تمثيل عدة أنماط لأنه يقسّم كل بُعد من أبعاد الإجراء إلى 256 خانة ويتنبأ بها على هيئة رموز. وتُنمذج سياسات الانتشار التوزيع الكامل للإجراءات عبر تنقية ضوضاء عشوائية، وأصبحت خيارًا شائعًا لمناولة الأشياء ضمن تطبيقات الذكاء الاصطناعي المتجسّد.

تُدرّب النماذج اللغوية بالطريقة نفسها. فـالضبط الدقيق الخاضع للإشراف لنموذج لغوي كبير (LLM) على إجابات كتبها البشر، وهو جوهر ضبط التعليمات، استنساخ سلوكي للنصوص؛ وقد استخدمت ورقة WebGPT من OpenAI هذا الاسم تحديدًا للمرحلة السابقة لـالتعلم المعزز من التغذية الراجعة البشرية (RLHF).

الاستنساخ السلوكي والمصطلحات ذات الصلة#

• التعلم المعزز: يتعلم من إشارة مكافأة عبر التجربة والخطأ، ويمكنه التفوق على المُعرِض، بخلاف الاستنساخ السلوكي. وتضيف أساليب التعلم المعزز غير المتصل، مثل TD3+BC، حدًا للاستنساخ السلوكي لإبقاء السياسة المتعلَّمة قريبة من البيانات المسجلة.
• التعلم المعزز العكسي: يستنتج دالة المكافأة التي تفسر العروض التوضيحية ثم يحسّنها. ويدرّب التعلم بالمحاكاة التوليدي الخصومي (GAIL) سياسةً إلى أن يعجز المُميّز عن التمييز بين سلوكها وسلوك الخبير.
• تقطير المعرفة: يدرّب نموذجًا صغيرًا متعلمًا على محاكاة مخرجات نموذج معلم أكبر. ويُسمى استنساخ سياسة مدرّبة بدلًا من إنسان تقطيرَ السياسة.