Diffusion Policies

تمثل سياسات الانتشار تحولاً جذرياً في الروبوتات وتعلم الآلة، حيث يتم نمذجة سياسة الرؤية الحركية لـ عامل الذكاء الاصطناعي كعملية انتشار إزالة ضجيج مشروطة. تقليدياً، يعتمد استنساخ السلوك — وهو شكل من أشكال التعلم بالمحاكاة — على الانحدار المباشر للتنبؤ بإجراء حتمي واحد من المدخلات الحسية. وبينما يكون هذا فعالاً للمهام البسيطة، غالباً ما يفشل الانحدار المباشر عند وجود إجراءات صالحة متعددة، مما يؤدي إلى حركات متوسطة غير مستقرة أو غير آمنة. تعالج سياسات الانتشار هذه المشكلة من خلال صياغة توليد الإجراءات كمهمة لتحسين التسلسل. بدءاً من ضوضاء عشوائية بحتة، يقوم الخوارزمية بإزالة ضجيج الإشارة بشكل تكراري — مشروطة بالملاحظات الحسية مثل الصور أو بيانات الحالة المكانية — لإنتاج تسلسلات إجراءات دقيقة وقوية ومتعددة الوسائط.

Link to this sectionكيف تعمل سياسات الانتشار#

تعتمد الآليات الأساسية على الرياضيات الموجودة في النمذجة التوليدية، مع تكييف التقنيات التي تم تطويرها في الأصل لتوليف الصور عالية الدقة في ورقة سياسة الانتشار للرؤية الحركية الأصلية. خلال مرحلة التدريب، المعروفة بالعملية الأمامية، يتم إضافة كميات صغيرة من الضوضاء تدريجياً إلى مسارات إجراءات الخبراء المثلى. ثم يتم تدريب شبكة عصبية للتنبؤ بهذه الضوضاء وعكسها بناءً على سياق الملاحظة المعطى.

أثناء الاستدلال، عندما يتفاعل الروبوت مع بيئته، فإنه يراقب محيطه، ويهيئ تسلسل إجراءات عشوائياً، ويزيل الضجيج منه باستخدام ديناميكيات لانجيفين العشوائية. ينتج عن هذا التحسين التكراري أوامر حركية سلسة ودقيقة قادرة على التعامل مع مساحات إجراءات معقدة وعالية الأبعاد.

Link to this sectionتطبيقات العالم الحقيقي#

من خلال التمثيل الدقيق للتوزيعات المعقدة دون حدوث انهيار النمط، تعمل سياسات الانتشار بنشاط على إعادة تشكيل الذكاء الاصطناعي المادي الحديث.

• التلاعب الروبوتي: في البيئات الصناعية، تستخدم الأذرع الروبوتية هذه السياسات للمهام الماهرة والغنية بالتفاعل مثل إمساك الأشياء ذات الأشكال غير المنتظمة، أو تجميع الإلكترونيات المعقدة، أو تنفيذ حركات سكب سائلة.
• الملاحة الذاتية: تجمع أنظمة القيادة الذاتية والطائرات بدون طيار بين تقدير العمق وسياسات الانتشار لتخطيط مسارات آمنة ومستمرة عبر البيئات الديناميكية، متكيفة ببراعة مع العوائق المفاجئة التي قد تربك نماذج التعلم التعزيزي القياسية.

Link to this sectionتمييز المصطلحات الرئيسية#

لتوضيح الوظيفة المحددة لسياسات الانتشار، من المفيد تمييزها عن البنى التوليدية وثيقة الصلة:

• سياسات الانتشار مقابل نماذج الانتشار: تشير نماذج الانتشار بشكل واسع إلى البنية التوليدية الأساسية المستخدمة لإنشاء بيانات ثابتة مثل توليف النص إلى صورة. تطبق سياسات الانتشار هذه الآلية المحددة للتنبؤ بأوامر حركية مستمرة وسلاسل زمنية للروبوتات النشطة.
• سياسات الانتشار مقابل فرض الانتشار: فرض الانتشار هو إطار عمل عام لتوليد التسلسلات يقوم بتدريب المحولات السببية باستخدام مستويات ضوضاء متفاوتة لكل رمز. على الرغم من ارتباطهما، يركز فرض الانتشار بشكل كبير على التنبؤ الانحداري الذاتي، في حين تشير سياسات الانتشار بدقة إلى استراتيجية التعلم بالمحاكاة للتحكم في الرؤية الحركية.

Link to this sectionالتطورات الأخيرة في تعلم السياسات#

تستمر الأبحاث من المؤسسات الكبرى، بما في ذلك مبادرات أبحاث OpenAI وروبوتات Google DeepMind، في دفع حدود ما يمكن لهذه الخوارزميات تحقيقه. والجدير بالذكر أن سياسة الانتشار ثلاثية الأبعاد (DP3)، التي نُشرت على arXiv في عام 2024، قدمت اختراقاً من خلال تكييف السياسات بناءً على تمثيلات سحابة النقاط ثلاثية الأبعاد المدمجة بدلاً من الصور ثنائية الأبعاد البسيطة. أدى ذلك إلى تحسين الوعي المكاني للروبوتات بشكل كبير مع طلب عدد أقل بكثير من عروض الخبراء. بدأت ابتكارات أخرى مثل D3P: سياسة انتشار إزالة الضجيج الديناميكية في معالجة سرعة الاستدلال البطيئة للانتشار القياسي من خلال تخطي خطوات إزالة الضجيج ديناميكياً للإجراءات الروتينية، مما يفتح المجال لاستجابة في الوقت الفعلي.

Link to this sectionالتنفيذ العملي مع الرؤية الحاسوبية#

قبل أن تتمكن سياسة الانتشار من توليد إجراء، فإنها تتطلب فهماً واضحاً ومنظماً لبيئتها. غالباً ما يجمع المهندسون بين نماذج اكتشاف الأشياء القوية وخوارزميات السياسة لتشكيل خط أنابيب رؤية حاسوبية كامل. على سبيل المثال، يمكن لنموذج إدراكي سريع مثل Ultralytics YOLO26 عزل الأشياء المستهدفة في الوقت الفعلي، وتغذية الإحداثيات المكانية في سياسة انتشار قائمة على مكتبة PyTorch.

import torch
from ultralytics import YOLO

# Load the Ultralytics YOLO26 Nano model for high-speed robotic perception
model = YOLO("yolo26n.pt")

# Predict bounding boxes on the robot's active camera feed
results = model.predict("robot_camera_feed.jpg")

# Condition the policy by extracting the bounding box center coordinate
if len(results[0].boxes) > 0:
    box = results[0].boxes[0].xyxy.squeeze()
    center_x = (box[0] + box[2]) / 2.0
    center_y = (box[1] + box[3]) / 2.0

    # Create a spatial observation tensor to condition the PyTorch Diffusion Policy.
    # This directly guides the denoising process to generate accurate motor actions.
    observation_state = torch.tensor([center_x, center_y])
    print(f"Conditioning action trajectory on object center: {observation_state}")

لتبسيط سير العمل هذا، يمكن للمطورين استخدام منصة Ultralytics للاستفادة من أدوات التسمية التلقائية السريعة لمجموعات البيانات المخصصة. يعمل هذا الدعم المتكامل على تسريع نشر النموذج من خلاصات الكاميرا الخام إلى ذكاء روبوتي قابل للتنفيذ.