Deep Reinforcement Learning

التعلم التعزيزي العميق (DRL) هو مجموعة فرعية متقدمة من الذكاء الاصطناعي (AI) تجمع بين قدرات اتخاذ القرار في التعلم التعزيزي وقوة الإدراك في التعلم العميق (DL). وفي حين يعتمد التعلم التعزيزي التقليدي على الطرق الجدولية لربط المواقف بالإجراءات، فإن هذه الطرق تواجه صعوبات عندما تكون البيئة معقدة أو مرئية. يتغلب التعلم التعزيزي العميق على ذلك باستخدام الشبكات العصبية لتفسير بيانات الإدخال عالية الأبعاد، مثل إطارات الفيديو أو قراءات المستشعرات، مما يمكّن الآلات من تعلم استراتيجيات فعالة مباشرة من التجربة الخام دون توجيه بشري صريح.

الآلية الأساسية للتعلم التعزيزي العميق (DRL)#

في نظام التعلم التعزيزي العميق، يتفاعل وكيل الذكاء الاصطناعي مع البيئة في خطوات زمنية منفصلة. في كل خطوة، يلاحظ الوكيل "الحالة" الحالية، ويختار إجراءً استنادًا إلى سياسة، ويتلقى إشارة مكافأة تشير إلى نجاح أو فشل هذا الإجراء. الهدف الأساسي هو تعظيم المكافأة التراكمية بمرور الوقت.

يشير المكون "العميق" إلى استخدام شبكات عصبية عميقة لتقريب السياسة (استراتيجية التصرف) أو دالة القيمة (المكافأة المستقبلية المقدرة). يسمح هذا للوكيل بمعالجة البيانات غير الهيكلية، باستخدام رؤية الكمبيوتر (CV) "لرؤية" البيئة تمامًا مثلما يفعل الإنسان. يتم تشغيل هذه القدرة بواسطة أطُر عمل مثل PyTorch أو TensorFlow، والتي تسهل تدريب هذه الشبكات المعقدة.

تطبيقات العالم الحقيقي#

لقد تجاوز التعلم التعزيزي العميق (DRL) الأبحاث النظرية إلى تطبيقات عملية ذات تأثير عالٍ عبر مختلف الصناعات:

• الروبوتات المتقدمة: في مجال الذكاء الاصطناعي في الروبوتات، يمكن التعلم التعزيزي العميق الآلات من إتقان مهارات حركية معقدة يصعب برمجتها يدويًا. يمكن للروبوتات أن تتعلم كيفية الإمساك بالأجسام غير المنتظمة أو اجتياز التضاريس الوعرة من خلال تحسين حركاتها داخل محركات الفيزياء مثل NVIDIA Isaac Sim. يتضمن هذا غالبًا التدريب على البيانات الاصطناعية قبل نشر السياسة على الأجهزة الفيزيائية.
• القيادة الذاتية: تستفيد المركبات ذاتية القيادة من التعلم التعزيزي العميق لاتخاذ قرارات في الوقت الفعلي في سيناريوهات حركة المرور غير المتوقعة. وفي حين تحدد نماذج اكتشاف الكائنات المشاة واللافتات، تستخدم خوارزميات التعلم التعزيزي العميق تلك المعلومات لتحديد سياسات قيادة آمنة لدمج المسارات، والتنقل في التقاطعات، والتحكم في السرعة، مما يدير بفعالية زمن انتقال الاستدلال اللازم للسلامة.

الرؤية كمراقب للحالة#

بالنسبة للعديد من تطبيقات التعلم التعزيزي العميق، تكون "الحالة" مرئية. تعمل النماذج عالية السرعة بمثابة عيون الوكيل، حيث تحول الصور الخام إلى بيانات منظمة يمكن لشبكة السياسة التعامل معها. يوضح المثال التالي كيف يعمل نموذج YOLO26 كطبقة إدراك لوكيل، مستخرجًا الملاحظات (مثل عدادات العوائق) من البيئة.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

تمييز التعلم التعزيزي العميق (DRL) عن المفاهيم ذات الصلة#

من المفيد التمييز بين التعلم التعزيزي العميق (DRL) والمصطلحات المماثلة لفهم موقعه الفريد في مشهد الذكاء الاصطناعي:

• التعلم التعزيزي (RL): يعد التعلم التعزيزي القياسي المفهوم الأساسي ولكنه يعتمد عادةً على جداول البحث (مثل جداول Q) والتي تصبح غير عمليّة لمساحات الحالة الكبيرة. يحل التعلم التعزيزي العميق هذه المشكلة باستخدام التعلم العميق لتقريب الدوال، مما يمكنه من التعامل مع المدخلات المعقدة مثل الصور.
• التعلم التعزيزي من التقييم البشري (RLHF): في حين يقوم التعلم التعزيزي العميق عادةً بالتحسين لدالة مكافأة محددة رياضيًا (مثل النقاط في لعبة)، فإن التعلم التعزيزي من التقييم البشري يعمل على تحسين النماذج—خاصة نماذج اللغات الكبيرة (LLMs)—باستخدام تفضيلات بشرية ذاتية لمواواءمة سلوك الذكاء الاصطناعي مع القيم البشرية، وهي تقنية شاع استخدامها بواسطة مجموعات بحثية مثل OpenAI.
• التعلم غير الخاضع للإشراف: تبحث الطرق غير الخاضعة للإشراف عن أنماط خفية في البيانات بدون تغذية راجعة صريحة. في المقابل، يركز التعلم التعزيزي العميق على الأهداف، مدفوعًا بإشارة مكافأة توجه الوكيل بنشاط نحو هدف معين، كما هو مناقش في النصوص الأساسية بواسطة Sutton and Barto.

يمكن للمطورين الذين يتطلعون إلى إدارة مجموعات البيانات اللازمة لطبقات الإدراك في أنظمة التعلم التعزيزي العميق استخدام Ultralytics Platform، مما يسطح سير عمل التعليقات التوضيحية والتدريب السحابي. بالإضافة إلى ذلك، غالبًا ما يستخدم الباحثون بيئات قياسية مثل Gymnasium لمقارنة خوارزميات التعلم التعزيزي العميق الخاصة بهم مقابل خط الأساس المعمول بها.