Deep Reinforcement Learning

يعد التعلم التعزيزي العميق (DRL) مجموعة فرعية متقدمة من الذكاء الاصطناعي (AI) تجمع بين قدرات اتخاذ القرار في التعلم التعزيزي وقوة الإدراك في التعلم العميق (DL). بينما يعتمد التعلم التعزيزي التقليدي على الأساليب الجدولية لتعيين المواقف للإجراءات، تجد هذه الأساليب صعوبة عندما تكون البيئة معقدة أو مرئية. يتغلب التعلم التعزيزي العميق (DRL) على ذلك باستخدام الشبكات العصبية لتفسير بيانات الإدخال عالية الأبعاد، مثل إطارات الفيديو أو قراءات المستشعرات، مما يمكّن الآلات من تعلم استراتيجيات فعالة مباشرة من التجربة الخام دون تعليمات بشرية صريحة.

Link to this sectionالآلية الأساسية للتعلم التعزيزي العميق (DRL)#

في نظام التعلم التعزيزي العميق (DRL)، يتفاعل وكيل الذكاء الاصطناعي مع البيئة في خطوات زمنية منفصلة. في كل خطوة، يلاحظ الوكيل "الحالة" الحالية، ويختار إجراءً بناءً على سياسة ما، ويتلقى إشارة مكافأة تشير إلى نجاح أو فشل ذلك الإجراء. الهدف الأساسي هو تعظيم المكافأة التراكمية بمرور الوقت.

يشير المكون "العميق" إلى استخدام الشبكات العصبية العميقة لتقريب السياسة (استراتيجية التصرف) أو دالة القيمة (المكافأة المستقبلية المقدرة). هذا يسمح للوكيل بمعالجة البيانات غير المهيكلة، مستخدمًا رؤية الحاسوب (CV) لـ "رؤية" البيئة تمامًا كما يفعل الإنسان. يتم تعزيز هذه القدرة بواسطة أطر عمل مثل PyTorch أو TensorFlow، والتي تسهل تدريب هذه الشبكات المعقدة.

Link to this sectionتطبيقات العالم الحقيقي#

لقد تجاوز التعلم التعزيزي العميق (DRL) الأبحاث النظرية إلى تطبيقات عملية ذات تأثير عالٍ عبر مختلف الصناعات:

• الروبوتات المتقدمة: في مجال الذكاء الاصطناعي في الروبوتات، يمكّن التعلم التعزيزي العميق (DRL) الآلات من إتقان مهارات حركية معقدة يصعب برمجتها بشكل ثابت. يمكن للروبوتات تعلم الإمساك بأجسام غير منتظمة أو اجتياز تضاريس غير مستوية من خلال تحسين حركاتها داخل محركات فيزيائية مثل NVIDIA Isaac Sim. غالبًا ما يتضمن ذلك التدريب على بيانات اصطناعية قبل نشر السياسة على الأجهزة الفعلية.
• القيادة الذاتية: تستفيد المركبات ذاتية القيادة من التعلم التعزيزي العميق (DRL) لاتخاذ قرارات في الوقت الفعلي في سيناريوهات مرورية غير متوقعة. بينما تحدد نماذج اكتشاف الكائنات المشاة والإشارات، تستخدم خوارزميات التعلم التعزيزي العميق (DRL) تلك المعلومات لتحديد سياسات قيادة آمنة لدمج المسارات، والملاحة في التقاطعات، والتحكم في السرعة، مما يتيح إدارة فعالة لـ زمن انتقال الاستدلال المطلوب للسلامة.

Link to this sectionالرؤية كمراقب للحالة#

بالنسبة للعديد من تطبيقات التعلم التعزيزي العميق (DRL)، تكون "الحالة" مرئية. تعمل النماذج عالية السرعة كعيون للوكيل، حيث تحول الصور الخام إلى بيانات مهيكلة يمكن لشبكة السياسات العمل بناءً عليها. يوضح المثال التالي كيف يعمل نموذج YOLO26 كطبقة إدراك لوكيل، لاستخراج الملاحظات (على سبيل المثال، أعداد العوائق) من البيئة.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Link to this sectionتمييز التعلم التعزيزي العميق (DRL) عن المفاهيم ذات الصلة#

من المفيد التمييز بين التعلم التعزيزي العميق (DRL) والمصطلحات المماثلة لفهم موقعه الفريد في مشهد الذكاء الاصطناعي:

• التعلم التعزيزي (RL): التعلم التعزيزي (RL) القياسي هو المفهوم الأساسي ولكنه يعتمد عادةً على جداول البحث (مثل Q-tables) التي تصبح غير عملية لمساحات الحالات الكبيرة. يحل التعلم التعزيزي العميق (DRL) هذه المشكلة باستخدام التعلم العميق لتقريب الدوال، مما يمكنه من التعامل مع المدخلات المعقدة مثل الصور.
• التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): بينما يعمل التعلم التعزيزي العميق (DRL) عادةً على التحسين من أجل دالة مكافأة محددة رياضيًا (على سبيل المثال، النقاط في لعبة)، يقوم التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) بتحسين النماذج—تحديدًا نماذج اللغة الكبيرة (LLMs)—باستخدام التفضيلات البشرية الذاتية لمواءمة سلوك الذكاء الاصطناعي مع القيم البشرية، وهي تقنية شاع استخدامها من قبل مجموعات بحثية مثل OpenAI.
• التعلم غير الخاضع للإشراف: تبحث الأساليب غير الخاضعة للإشراف عن أنماط خفية في البيانات دون تغذية راجعة صريحة. وعلى النقيض من ذلك، فإن DRL موجه نحو الأهداف، ومدفوع بإشارة مكافأة توجه الوكيل بفاعلية نحو هدف محدد، كما تمت مناقشته في النصوص التأسيسية لـ Sutton and Barto.

يمكن للمطورين الذين يتطلعون إلى إدارة مجموعات البيانات المطلوبة لطبقات الإدراك في أنظمة التعلم التعزيزي العميق (DRL) استخدام Ultralytics Platform، والتي تبسط عمليات التعليق التوضيحي وسير عمل التدريب السحابي. بالإضافة إلى ذلك، غالبًا ما يستخدم الباحثون بيئات موحدة مثل Gymnasium لقياس خوارزميات التعلم التعزيزي العميق (DRL) الخاصة بهم مقابل خطوط الأساس المحددة.