Reinforcement Learning

التعلم المعزز (RL) هو مجموعة فرعية موجهة نحو الأهداف من التعلم الآلي (ML)، حيث يتعلم نظام ذاتي الحكم، يُعرف باسم الوكيل، اتخاذ القرارات من خلال تنفيذ الإجراءات وتلقي التغذية الراجعة من بيئته. على عكس التعلم الخاضع للإشراف، الذي يعتمد على مجموعات بيانات ثابتة مصنفة بالإجابات الصحيحة، تتعلم خوارزميات RL من خلال عملية ديناميكية من التجربة والخطأ. يتفاعل الوكيل مع محاكاة أو مع العالم الحقيقي، ويلاحظ عواقب أفعاله لتحديد الاستراتيجيات التي تحقق أعلى المكافآت على المدى الطويل. يحاكي هذا النهج بشكل وثيق المفهوم النفسي لـ التكييف الإجرائي، حيث يتم تشكيل السلوك عن طريق التعزيز الإيجابي (المكافآت) والتعزيز السلبي (العقوبات) بمرور الوقت.

Link to this sectionالمفاهيم الأساسية لحلقة RL#

لفهم كيفية عمل RL، من المفيد تصوره كحلقة مستمرة من التفاعل. غالبًا ما يتم إضفاء الطابع الرياضي على هذا الإطار كـ عملية قرار ماركوف (MDP)، والتي تنظم عملية صنع القرار في المواقف التي تكون فيها النتائج عشوائية جزئيًا ومتحكمًا فيها جزئيًا من قبل صانع القرار.

تتضمن المكونات الأساسية لحلقة التعلم هذه ما يلي:

• وكيل الذكاء الاصطناعي (AI Agent): الكيان المسؤول عن التعلم واتخاذ القرارات. إنه يدرك البيئة ويتخذ إجراءات لتعظيم نجاحه التراكمي.
• البيئة: العالم الخارجي الذي يعمل فيه الوكيل. يمكن أن يكون هذا لعبة فيديو معقدة، أو محاكاة للسوق المالي، أو مستودعًا ماديًا في سياق الذكاء الاصطناعي في الخدمات اللوجستية.
• الحالة: لقطة أو تمثيل للوضع الحالي. في التطبيقات المرئية، يتضمن هذا غالبًا معالجة خلاصات الكاميرا باستخدام الرؤية الحاسوبية (CV) لاكتشاف الأشياء والعوائق.
• الإجراء: الخطوة أو الاختيار المحدد الذي يقوم به الوكيل. يُشار إلى المجموعة الكاملة لجميع الحركات الممكنة بـ مساحة الإجراءات.
• المكافأة: إشارة رقمية يتم إرسالها من البيئة إلى الوكيل بعد اتخاذ إجراء ما. تقوم دالة المكافأة المصممة جيدًا بتعيين قيم إيجابية للإجراءات المفيدة وعقوبات للإجراءات الضارة.
• السياسة: الاستراتيجية أو مجموعة القواعد التي يستخدمها الوكيل لتحديد الإجراء التالي بناءً على الحالة الحالية. تحدد خوارزميات مثل Q-learning كيفية تحديث هذه السياسة وتحسينها.

Link to this sectionتطبيقات العالم الحقيقي#

لقد تجاوز التعلم المعزز البحث النظري إلى عمليات نشر عملية عالية التأثير عبر مختلف الصناعات.

• الروبوتات المتقدمة: في مجال الذكاء الاصطناعي في الروبوتات، يمكّن RL الآلات من إتقان المهارات الحركية المعقدة التي يصعب برمجتها بشكل ثابت. يمكن للروبوتات أن تتعلم الإمساك بأجسام غير منتظمة أو التنقل في تضاريس غير مستوية من خلال التدريب داخل محركات الفيزياء مثل NVIDIA Isaac Sim قبل النشر في العالم الحقيقي.
• الأنظمة المستقلة: تستخدم المركبات ذاتية القيادة التعلم المعزز لاتخاذ قرارات في الوقت الفعلي في سيناريوهات حركة المرور غير المتوقعة. بينما تحدد نماذج اكتشاف الكائنات المشاة واللافتات، تساعد خوارزميات RL في تحديد سياسات القيادة الآمنة لدمج المسارات والتنقل في التقاطعات.
• التحسين الاستراتيجي: اكتسب RL اهتمامًا عالميًا عندما هزمت أنظمة مثل AlphaGo من Google DeepMind أبطال العالم من البشر في ألعاب الطاولة المعقدة. بعيدًا عن الألعاب، تعمل هذه الوكلاء على تحسين الخدمات اللوجستية الصناعية، مثل التحكم في أنظمة التبريد في مراكز البيانات لتقليل استهلاك الطاقة.

Link to this sectionدمج الرؤية مع التعلم المعزز#

في العديد من التطبيقات الحديثة، تكون "الحالة" التي يلاحظها الوكيل مرئية. تعمل النماذج عالية الأداء مثل YOLO26 كطبقة إدراك لوكلاء RL، حيث تحول الصور الخام إلى بيانات مهيكلة. تصبح هذه المعلومات المعالجة - مثل موقع وفئة الكائنات - الحالة التي تستخدمها سياسة RL لاختيار إجراء ما.

يوضح المثال التالي كيفية استخدام حزمة ultralytics لمعالجة إطار بيئي، وإنشاء تمثيل للحالة (على سبيل المثال، عدد الكائنات) لحلقة RL نظرية.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the agent's vision system
model = YOLO("yolo26n.pt")

# Simulate the agent observing the environment (an image frame)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Process the frame to extract the current 'state'
results = model(observation_frame)

# The agent uses detection data to inform its next action
# For example, an autonomous delivery robot might stop if it sees people
num_objects = len(results[0].boxes)
print(f"Agent Observation: {num_objects} objects detected. Calculating next move...")

Link to this sectionالتمييز بين المصطلحات ذات الصلة#

من المهم التمييز بين التعلم المعزز ونماذج التعلم الآلي الأخرى:

• مقابل التعلم الخاضع للإشراف: يتطلب التعلم الخاضع للإشراف مشرفًا خارجيًا خبيرًا لتقديم بيانات تدريب مصنفة (على سبيل المثال، "هذه الصورة تحتوي على قطة"). على النقيض من ذلك، يتعلم RL من عواقب أفعاله دون تصنيفات صريحة، ويكتشف المسارات المثلى من خلال الاستكشاف.
• مقابل التعلم غير الخاضع للإشراف: يركز التعلم غير الخاضع للإشراف على العثور على هياكل أو أنماط مخفية داخل بيانات غير مصنفة (مثل تجميع العملاء). يختلف RL لأنه موجه نحو الهدف بشكل صريح، ويركز على تعظيم إشارة المكافأة بدلاً من مجرد وصف بنية البيانات.

مع زيادة القوة الحوسبية، تعمل تقنيات مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF) على صقل كيفية تعلم الوكلاء، مما يجعل أهدافهم تتماشى بشكل وثيق مع القيم البشرية المعقدة ومعايير السلامة. غالبًا ما يستخدم الباحثون بيئات موحدة مثل Gymnasium لتقييم وتحسين هذه الخوارزميات. بالنسبة للفرق التي تتطلع إلى إدارة مجموعات البيانات المطلوبة لطبقات الإدراك لهذه الوكلاء، توفر منصة Ultralytics أدوات شاملة للتعليق التوضيحي وإدارة النماذج.