Action Chunking

تجزئة الأفعال إلى مقاطع تقنية في تعلّم الروبوتات، تتنبأ فيها السياسة بتسلسل، أو مقطع، من الأفعال الـk التالية انطلاقًا من ملاحظة واحدة بدلًا من فعل واحد في كل خطوة تحكم. ويستعير الاسم مفهومًا من علم النفس وعلم الأعصاب، وهو تجميع تسلسل من الأفعال في وحدة واحدة، ودخل مجال تعلّم الروبوتات مع تجزئة الأفعال باستخدام المحوّلات (ACT) عام 2023. وتعلّم ACT مهامًا دقيقة بكلتا اليدين، مثل إدخال بطارية في مكانها، محققًا نجاحًا بنسبة 80-90% باستخدام 10 دقائق فقط من العروض التوضيحية على أذرع ALOHA منخفضة التكلفة. وأصبح التنبؤ بالمقاطع شائعًا الآن في التعلّم بالمحاكاة وفي نماذج الرؤية واللغة والفعل (VLA) المصممة لأغراض الروبوتات العامة.

لماذا يفيد التنبؤ بالمقاطع#

في استنساخ السلوك، تتعلم السياسة تقليد الأفعال الواردة في العروض التوضيحية البشرية. ويدفع كل خطأ صغير الروبوت إلى حالة لم تغطّها العروض التوضيحية قط، فيسوء التنبؤ التالي وتتراكم الأخطاء على امتداد المهمة. وتتخذ السياسة التي تلتزم بـk أفعال لكل تنبؤ قرارات أقل بواقع k مرات في كل حلقة، وهو ما يصفه مؤلفو ACT بأنه خفض بمقدار k أضعاف للأفق الفعلي للمهمة. وفي اختبار الإزالة المحاكى الذي أجروه، ارتفع متوسط النجاح عبر مهمتين من 1% عند التنبؤ بفعل واحد في كل مرة إلى 44% عند استخدام مقاطع من 100 فعل.

تلتقط المقاطع أيضًا التوقيت الذي لا تستطيع ملاحظة واحدة استيعابه. إذ يتوقف البشر الذين يقدمون العروض التوضيحية ويترددون، ولا تستطيع سياسة الخطوة الواحدة التي ترى الصورة نفسها قبل التوقف وبعده أن تميّز بين الانتظار والحركة؛ أما المقطع الذي يتضمن التوقف فيعيد إنتاجه. وعندما تعرض العروض التوضيحية طريقتين صحيحتين لإنجاز المهمة، يحافظ التنبؤ بالتسلسل كاملًا دفعة واحدة على إحدى الطريقتين بدلًا من المزج بينهما.

ينفذ الروبوت مقطعًا، ثم يطلب من السياسة مقطعًا جديدًا:

تؤدي إعادة التخطيط بعد المقطع كاملًا إلى أقل عدد من استدعاءات النموذج؛ أما إعادة التخطيط بعد جزء منه، كما تفعل سياسة الانتشار، فتتبع فكرة الأفق المتراجع في التحكم التنبؤي بالنموذج وتستجيب للمفاجآت بسرعة أكبر.

تنعيم الفواصل بين المقاطع#

يتحرك الروبوت داخل المقطع بتحكم مفتوح الحلقة، ويبدأ كل مقطع جديد بتنبؤ جديد، لذلك قد تقفز الحركة عند انتقال التنفيذ من مقطع إلى آخر. ويستعلم التجميع الزمني في ACT من السياسة عند كل خطوة، وينفّذ متوسطًا مرجحًا لتنبؤات جميع المقاطع الخاصة بالخطوة الحالية، بأوزان exp(−m·i) التي تمنح التنبؤ الأقدم الوزن الأكبر. ويقارن مثال NumPy هذا بين تجزئة المقاطع العادية والتجميع الزمني لسياسة بديلة يحمل كل مقطع فيها خطأً صغيرًا خاصًا به:

import numpy as np

rng = np.random.default_rng(0)
k, steps, m = 10, 100, 0.1  # chunk size, episode length, temporal-ensembling decay
target = np.sin(np.linspace(0, np.pi, steps + k))  # the demonstrated joint trajectory

# Stand-in policy: at step t it predicts actions for steps t..t+k-1, each chunk off by its own error
chunks = [target[t : t + k] + rng.normal(0, 0.05) for t in range(steps)]

# Plain chunking: query every k steps and execute each chunk open loop
plain = np.concatenate([chunks[t] for t in range(0, steps, k)])

# Temporal ensembling (ACT): query every step and average all predictions for step t, oldest weighted most
ensembled = []
for t in range(steps):
    preds = [chunks[s][t - s] for s in range(max(0, t - k + 1), t + 1)]
    weights = np.exp(-m * np.arange(len(preds)))
    ensembled.append(np.dot(weights, preds) / weights.sum())

for name, actions in (("plain", plain), ("ensembled", np.array(ensembled))):
    print(f"{name}: largest jump between consecutive actions = {np.abs(np.diff(actions)).max():.3f}")
print(f"demonstration: largest jump = {np.abs(np.diff(target[:steps])).max():.3f}")

تنتج تجزئة المقاطع العادية أكبر قفزة من خطوة إلى أخرى بقيمة 0.085، أي نحو ثلاثة أمثال قيمة العرض التوضيحي البالغة 0.029، عند فاصل بين المقاطع. ويخفضها التجميع إلى 0.044، لأن كل فعل منفّذ يحسب متوسط ما يصل إلى عشرة تنبؤات أُجريت استنادًا إلى ملاحظات مختلفة.

تجعل النماذج الأكبر إخفاء الفواصل أصعب، إذ قد يستغرق الاستدلال وقتًا أطول من خطوة التحكم. وتولّد تجزئة المقاطع الآنية من Physical Intelligence المقطع التالي بينما لا يزال المقطع الحالي قيد التنفيذ، وتجمّد الأفعال التي ستُنفّذ أثناء تأخير الاستدلال، ثم تستكمل بقية المقطع بما يتوافق معها؛ وقد أبقى ذلك مهام ديناميكية مثل إشعال عود ثقاب قيد العمل رغم تأخيرات تجاوزت 300 ms.

تجزئة الأفعال في سياسات الروبوتات الحديثة#

• ACT: محوّل دُرّب بوصفه مُرمِّزًا تلقائيًا تغايريًا شرطيًا، ويُخرج دفعات من 100 قيمة مستهدفة لمواضع المفاصل، أي حركتين في الثانية عند معدل التحكم البالغ 50 Hz في ALOHA.
• سياسات الانتشار: تولّد هذه السياسات كل تسلسل أفعال عبر إزالة الضوضاء منه تكراريًا، ما يتيح لها تمثيل العروض التوضيحية ذات الحلول المتعددة والمتميزة تمثيلًا جيدًا.
• نماذج VLA: يجمع π0 من Physical Intelligence بين نموذج رؤية ولغة وخبير أفعال دُرّب باستخدام مطابقة التدفق، ويُخرج دفعات من 50 فعلًا للتحكم بمعدل يصل إلى 50 Hz. وتوفّر مكتبة LeRobot من Hugging Face تطبيقات مفتوحة لـ ACT وDiffusion Policy وπ0.

ترمّز معظم هذه السياسات صور الكاميرا الخام باستخدام عمود فقري متعلَّم. ويمكن للسياسة بدلًا من ذلك أن تعتمد على مواضع الأجسام الناتجة عن كاشف: إذ يحوّل نموذج Ultralytics YOLO26 ضُبط ضبطًا دقيقًا على الأجزاء الموجودة في خلية عمل كل إطار إلى عدد قليل من إحداثيات الصناديق أو النقاط المفتاحية، تستخدمها السياسة المقسّمة إلى دفعات بوصفها حالتها بدلًا من وحدات البكسل الخام.

تجزئة الأفعال ومقارنتها بالمفاهيم ذات الصلة#

• التعرّف على الأفعال: يحدّد النشاط الظاهر في مقطع فيديو. أما تجزئة الأفعال فتولّد الأوامر التي ينفّذها الروبوت.
• التحكم التنبؤي بالنموذج: يحسّن تسلسلًا من الأفعال بالاستناد إلى نموذج ديناميكي في كل خطوة. أما السياسة المقسّمة إلى دفعات فتتعلم تسلسلاتها من العروض التوضيحية ولا تحتاج إلى نموذج.
• نماذج الأفعال الكبيرة: وكلاء ذكاء اصطناعي يتفاعلون مع واجهات البرامج عبر النقرات واستدعاءات API. تتناول تجزئة الأفعال أوامر الحركة منخفضة المستوى، مثل متجه مواضع المفاصل ذي الأبعاد الأربعة عشر الذي يُخرجه ACT لذراعي ALOHA في كل خطوة.