Group Relative Policy Optimization (GRPO)
اكتشف تحسين السياسة النسبية للمجموعة (GRPO). تعلم كيف تعزز خوارزمية التعلم التعزيزي هذه، الموفرة للذاكرة والخالية من النقد، استدلال LLM وتقلل تكاليف التدريب.
تحسين السياسة النسبية للمجموعات (GRPO) هو خوارزمية تعلم تعزيزي توفر في الذاكرة ومطورة لتعزيز قدرات الاستدلال لـ نماذج اللغات الكبيرة (LLMs) وأنظمة الذكاء الاصطناعي (AI) الأوسع نطاقاً. تم تقديمها لأول مرة في ورقة DeepSeekMath لعام 2024، حيث تعمل GRPO على تحسين طرق التحسين التقليدية عن طريق إزالة الحاجة إلى شبكة قيمة منفصلة (نموذج الناقد). وبدلاً من ذلك، تقوم بتطبيع مكافآت مجموعة من الاستجابات المُوَلدة المستمدة من نفس الموجه. من خلال تقييم الاستجابات بالنسبة لنظيراتها داخل المجموعة، تقلل GRPO بشكل كبير من العبء الحسابي مع تعزيز الأداء في مهام الاستدلال المعقدة في بنيات التعلم العميق (DL) الحديثة.
كيف تختلف GRPO عن PPO#
بينما تتشارك GRPO في أوجه التشابه مع تحسين السياسة القريبة (PPO) - وهي خوارزمية تحسين قياسية غالباً ما تُستخدم في التعلم التعزيزي من تعليقات البشر (RLHF) - إلا أن الاثنين يختلفان بشكل كبير في البنية. يتطلب PPO نموذج "ناقد" ثانوياً يعمل بالتوازي مع شبكة السياسة الرئيسية لتقدير قيمة حالة معينة. وهذا يضاعف تقريباً الذاكرة المطلوبة خلال مرحلة التدريب.
على النقيض من ذلك، فإن GRPO هي خوارزمية خالية من الناقد. من خلال أخذ عينات من مخرجات متعددة لموجه واحد وتقييمها باستخدام نظام مكافأة قائم على القواعد أو مُتحقق، تحسب GRPO الأفضلية عن طريق تطبيع الدرجات ضمن تلك المجموعة المحددة. تعمل هذه المقارنة النسبية كخط أساس، مما يوفر كميات هائلة من الذاكرة التي كانت ستشغلها شبكة القيمة ويسرع تدريب النموذج بشكل عام.
التطبيقات الواقعية لـ GRPO#
أدت GRPO إلى عدة إنجازات حديثة في الذكاء الاصطناعي التوليدي ومعالجة اللغات الطبيعية. ويشمل تطبيقان بارزان:
- نماذج الاستدلال الرياضي: في إصدار DeepSeek-R1 واسع الانتشار وDeepSeekMath، تم استخدام GRPO لتحفيز النماذج على تطوير استدلال سلسلة التفكير الطويل والتحقق الذاتي، مما يماثل أداء النماذج الاحتكارية مثل OpenAI's o1. من خلال مكافأة الإجابات النهائية الصحيحة والتنسيق، مكنت الخوارزمية النموذج من اكتشاف استراتيجيات حل المشكلات المتقدمة بشكل عضوي دون ضبط دقيق مكثف على البيانات المشروحة بشرياً.
- توليد الكود والمنطق الوكيلي: بالنسبة للنماذج التي تكتب الكود أو تشغل تدفقات العمل الوكيلية المستقلة، يعد تقييم الصحة المطلقة أمراً تحدياً. تتيح GRPO للنماذج التعلم عن طريق تنفيذ تنويعات الكود وتقييمها نسبياً بناءً على نجاح الترجمة أو حالات الاختبار المجتازة، مما يسرع نشر مساعدي البرمجة المعتمدين على الذكاء الاصطناعي الموثوقين للغاية.
تطبيق مفاهيم GRPO في PyTorch#
في جوهرها، تحسب GRPO الأفضلية النسبية للاستجابات عن طريق تطبيع مكافآتها. إليك تنفيذ أساسي لـ PyTorch يوضح هذا التطبيع باستخدام عمليات الموثق (Tensor) القياسية:
def compute_grpo_advantages(rewards):
# 'rewards' is a tensor of shape (batch_size, group_size)
group_mean = rewards.mean(dim=1, keepdim=True)
group_std = rewards.std(dim=1, keepdim=True)
# Normalize rewards within the group to calculate relative advantages
advantages = (rewards - group_mean) / (group_std + 1e-8)
return advantagesالنهوض بالذكاء الاصطناعي من خلال التحسين الذكي#
تماماً كما تعيد GRPO تعريف الكفاءة لتوليد النصوص، فإن تقنيات التعلم الآلي (ML) المتقدمة تعيد تشكيل الإدراك البصري باستمرار. يتيح تحسين البنى ودوال الخسارة للمطورين بناء نماذج أخف وأسرع عبر جميع المجالات.
بالنسبة لـ مهام الرؤية الحاسوبية الحديثة، يعد استكشاف التحسينات من طرف إلى طرف أمراً بالغ الأهمية بنفس القدر. على سبيل المثال، يقدم Ultralytics YOLO26 بنية خالية من NMS أصلاً ومُحسِّنات هجينَة مستوحاة من أبحاث LLM، مما يحسن نشر الحافة بشكل كبير. يمكن للمطورين الساعين للاستفادة من تدفقات عمل رؤية حاسوبية فعالة بناء النماذج وتدريبها ونشرها بسهولة باستخدام منصة Ultralytics. تبسط هذه الأدارة المستندة إلى السحابة إدارة مجموعة البيانات المعقدة وضبط المعلمات الفائقة لتطبيقات رؤية قوية في الوقت الفعلي.
