Distributionally Robust Optimization

التحسين المتين توزيعيًا (DRO) نهج للتدريب واتخاذ القرار يقلل الخسارة المتوقعة في أسوأ توزيع ضمن مجموعة من توزيعات البيانات المعقولة، بدلًا من تقليلها في توزيع التدريب وحده. ويفترض التدريب القياسي، المعروف باسم تقليل المخاطر التجريبية (ERM)، أن البيانات المستقبلية ستشبه بيانات التدريب، ويقلل متوسط الخسارة. أما DRO فيفترض أن البيانات الحقيقية ستختلف بطرق يمكن وضع حدود لها، ويحسّن الأداء في أصعب حالة ضمن تلك الحدود. وتوازن النماذج الناتجة بين انخفاض طفيف في الدقة المتوسطة وأداء أكثر ثباتًا عند تغير الظروف، مثل كاميرا رأت خلال التدريب لقطات نهارية أكثر بكثير من اللقطات الليلية.

مجموعات الالتباس#

تُسمى مجموعة التوزيعات التي يتحوّط لها DRO مجموعة الالتباس أو مجموعة عدم اليقين، ويحدد شكلها نوع المتانة التي يكتسبها النموذج:

• كرات التباعد: تشمل كل توزيع يقع ضمن مقدار ثابت من تباعد KL أو كاي تربيع عن بيانات التدريب. ويؤدي التحسين في مواجهتها إلى زيادة أوزان أمثلة التدريب ذات أعلى خسارة، فلا يستطيع النموذج تجاهل أصعب العينات. وهناك هدف وثيق الصلة، هو القيمة الشرطية للمخاطر، يحسب متوسط أسوأ نسبة من الخسائر لكل مثال.
• كرات فاسرشتاين: تشمل التوزيعات التي يمكن بلوغها بنقل كتلة احتمالية لمسافة محدودة في فضاء المدخلات. وبما أن المسافة تقيس مقدار الكتلة المنقولة ومدى انتقالها، فإن هذه المجموعات تغطي الاضطرابات الطفيفة في المدخلات نفسها.
• مزيج المجموعات: يشمل أي إعادة ترجيح لمجموعات فرعية معروفة، مثل الصور النهارية والليلية أو صور الأشعة من مستشفيات مختلفة. وعندئذ تكون الحالة الأسوأ ببساطة هي أسوأ مجموعة.

يرتبط تحسين Wasserstein المتين توزيعيًا ارتباطًا وثيقًا بالتدريب الخصومي في مواجهة الهجمات الخصومية، إذ يحسّن كلاهما الأداء في مواجهة مدخلات قريبة تمثل أسوأ الحالات. وحجم المجموعة هو المعلمة الفائقة المحورية في DRO: فالمجموعة الكبيرة تهيئ النموذج لبيانات غير واقعية وتخفض دقته المعتادة، بينما لا تلتقط المجموعة الصغيرة التحولات المهمة عند النشر.

DRO للمجموعات#

يُعد Group DRO، الذي قدمته شيوري ساغاوا وبانغ وي كوه وتاتسونوْري هاشيموتو وبيرسي ليانغ في أبحاث نُشرت عام 2020، الشكل الأكثر استخدامًا في التعلم العميق. فهو يقلل خسارة المجموعة الأضعف أداءً بدلًا من متوسط الخسارة على جميع الأمثلة. وعمليًا، يحتفظ بوزن لكل مجموعة ينتقل من دفعة إلى أخرى، ويرفع وزن المجموعات التي تسجل أعلى خسارة في الوقت الراهن، ثم ينفذ الانتشار العكسي للخسارة المرجحة بالمجموعات:

import torch

# Per-image losses from one training batch and the condition each image came from
losses = torch.tensor([0.20, 0.30, 0.25, 0.90, 1.10, 0.15])
groups = torch.tensor([0, 0, 0, 1, 1, 0])  # 0 = daytime, 1 = nighttime
group_losses = torch.stack([losses[groups == g].mean() for g in (0, 1)])

# Empirical risk minimization optimizes the average loss over all images
print(f"ERM loss: {losses.mean():.2f}, daytime loss: {group_losses[0]:.2f}, nighttime loss: {group_losses[1]:.2f}")

# Group DRO shifts its group weights toward high-loss groups with an exponentiated-gradient step
group_weights = torch.tensor([0.5, 0.5])  # carried over from earlier batches
group_weights = group_weights * torch.exp(1.0 * group_losses)  # step size 1.0
group_weights = group_weights / group_weights.sum()
dro_loss = (group_weights * group_losses).sum()  # the loss that is backpropagated
print(f"Group weights: day {group_weights[0]:.2f}, night {group_weights[1]:.2f}, group DRO loss: {dro_loss:.2f}")

يبدو متوسط الخسارة البالغ 0.48 جيدًا، لكن متوسط خسارة الصورتين الليليتين يبلغ 1.00، مقابل 0.22 للصور النهارية. وينقل تحديث واحد أوزان المجموعات من 0.50 لكل منها إلى 0.32 للنهار و0.68 لليل، فترتفع الخسارة التي ينتشر أثرها عكسيًا إلى 0.76، ويأتي معظم تدرجها من الصور الليلية. وعلى مدى دفعات كثيرة، يستمر الوزن في التدفق إلى المجموعة المتأخرة في الأداء.

يمثل Group DRO علاجًا مباشرًا لـالتعلم بالاختصارات. ففي معيار Waterbirds، تُظهر معظم صور التدريب للطيور المائية خلفيات مائية، لذلك يتعلم التدريب القياسي الخلفية ويفشل في التعرف إلى الطيور المائية المصوّرة فوق اليابسة. وباستخدام انتظام قوي، رفع الباحثون دقة الاختبار لأسوأ مجموعة من 21.3% باستخدام ERM إلى 84.6% باستخدام Group DRO، كما ارتفعت الدقة المتوسطة من 95.7% إلى 96.6%. ويكتسب الانتظام أهميته لأن الشبكة الكبيرة قادرة على خفض خسارة التدريب لكل مجموعة إلى الصفر، فلا يترك ذلك لهدف DRO ما يعطيه الأولوية.

يتطلب Group DRO معرفة المجموعة التي ينتمي إليها كل مثال تدريبي. وعندما تكون المجموعات مجهولة، يمكن لكرات تباعد كاي تربيع أن تحل محلها: فقد أظهر تاتسونوْري هاشيموتو وزملاؤه عام 2018 أن تقليل أسوأ خسارة ضمن كرة كهذه يحمي أي مجموعة فرعية كبيرة بما يكفي، من دون معرفة أفرادها.

العثور على أسوأ المجموعات#

غالبًا ما تُكتشف المجموعات المهمة من خلال الأخطاء. وبالنسبة إلى نماذج الكشف عن الأجسام باستخدام YOLO26 والمدرّبة على إصدار محفوظ من مجموعة بيانات، تضيف منصة Ultralytics تشخيصات لكل صورة ترتب صور التحقق بحسب درجة F1 لكل صورة، وتربط الدرجة بحجم الصورة ونسبة أبعادها وعدد الحالات، وتسرد الفئات الأكثر ظهورًا في أضعف الصور. وتحوّل هذه المؤشرات مجتمعةً متوسط الدقة المتوسطة (mAP) الواحد إلى مجموعات مرشحة لجمعها أو زيادة أخذ العينات منها أو ترجيحها.

لـDRO استخدامات تتجاوز مجال الرؤية بكثير:

• الإنصاف بين المجموعات الفرعية: عندما تُعرّف المجموعات بسمات ديموغرافية، يؤدي تقليل خسارة أسوأ مجموعة إلى الحد مباشرةً من فجوات الأداء.
• تحول التوزيع في العالم الحقيقي: يختبر معيار WILDS من جامعة ستانفورد النماذج في مواجهة تحولات مثل صور الأنسجة من مستشفيات مختلفة وصور الأقمار الصناعية من مناطق وسنوات متباينة، ويضم Group DRO ضمن خطوط الأساس القياسية.
• بحوث العمليات: يُطبّق DRO على جدولة شبكات الكهرباء وتخطيط سلاسل الإمداد واختيار المحافظ الاستثمارية، حيث تواجه القرارات طلبًا أو أسعارًا غير مؤكدة، وقد تفشل خطة مضبوطة على المتوسط التاريخي وحده فشلًا كبيرًا في سنة استثنائية.

DRO وزيادة البيانات ومراقبة الانحراف#

تتناول زيادة بيانات التدريب وDRO المشكلة نفسها من جانبين متعاكسين. فزيادة البيانات توسّع ما يراه النموذج باستخدام تنويعات اصطناعية لصور التدريب، بينما يغيّر DRO دالة الهدف كي تحظى التنويعات النادرة لكنها حقيقية بوزن أكبر. وينجح الجمع بينهما: توفر زيادة البيانات أمثلة متنوعة، ويمنع هدف DRO تسوية أصعب هذه الأمثلة ضمن المتوسط. ويسلك تكيّف المجال مسارًا ثالثًا، إذ يتكيف مع توزيع مستهدف معروف باستخدام بيانات غير معنونة منه. وبعد النشر، يكشف رصد انحراف البيانات التحولات التي لم تتوقعها أي مجموعة غموض، وتصبح هذه الظروف الجديدة مجموعات تالية لجمعها وترجيحها.