Bayesian Optimization

التحسين البايزي أسلوب للعثور على إعدادات تحقق أداءً عاليًا لدالة يصعب تقييمها، وذلك بالتعلّم من التقييمات السابقة. يُنشئ نموذجًا احتماليًا لكيفية تأثير المدخلات في النتائج، ثم يستخدم هذا النموذج لاختيار التجربة التالية. وفي تعلّم الآلة، يجعله ذلك مفيدًا للعثور على إعدادات تدريب قوية ضمن ميزانية حوسبة محدودة.

تشمل أسسه طريقة البحث التتابعي التي وضعها Harold Kushner عام 1964 وصياغة Jonas Mockus للبحث عن القيم القصوى البايزية عام 1975. واليوم، يُعد تقنية محورية في ضبط المعلمات الفائقة والتعلّم الآلي المؤتمت.

آلية عمل التحسين البايزي#

تقيس دالة الهدف جودة إعداد مرشح. وفي تدريب النماذج، يتضمن التقييم التدريب باستخدام المعلمات الفائقة المحددة وقياس الأداء على بيانات التحقق. وتشمل المدخلات القابلة للضبط معدل التعلّم وحجم الدفعة وقوة التنظيم.

النموذج البديل هو تقريب أقل كلفة حاسوبيًا لدالة الهدف. ومن الخيارات الشائعة العملية الغاوسية: توزيع احتمالي على الدوال الممكنة يتنبأ بالنتيجة وبمقدار عدم اليقين فيها. يجمع التحديث البايزي الافتراضات السابقة بالتقييمات المرصودة لإنتاج توزيع لاحق. وتستخدم دالة الاكتساب هذا التوزيع لاختيار مرشح آخر؛ ثم تُغذّي نتيجته المقاسة النموذج البديل، إلى أن تُستنفد ميزانية التقييم.

هذا نهج للتحسين قائم على تعلّم الآلة: إذ يتعلم النموذج البديل من أزواج الإعدادات والنتائج. ويساعد تقدير عدم اليقين في تحديد القياسات الإضافية ذات القيمة.

دوال الاكتساب والاستكشاف#

يوازن اختيار المرشحين بين الاستغلال، الذي يفضّل الإعدادات المتوقع أن تحقق أداءً جيدًا، والاستكشاف، الذي يفحص المناطق غير المؤكدة. وتعبّر دوال الاكتساب الشائعة عن هذا التوازن بطرق مختلفة:

• التحسين المتوقع (EI): يقيّم مقدار التحسن المتوقع الذي يحققه المرشح مقارنةً بنتيجة مرجعية.
• احتمالية التحسين (PI): تقيّم احتمال تجاوز نتيجة مرجعية بهامش محدد.
• حد الثقة الأعلى (UCB): في حالة التعظيم، يجمع بين المتوسط المتوقع ومكافأة لعدم اليقين، مانحًا المرشحين غير المؤكدين أولوية إضافية.

تقييم استراتيجيات الاكتساب قليل الكلفة مقارنةً بتدريب نموذج أو إجراء تجربة مادية. ويوجّه تحسينها عملية التقييم المكلفة التالية.

التطبيقات في تعلّم الآلة والرؤية الحاسوبية#

يكون التحسين البايزي مفيدًا على وجه الخصوص عندما تستغرق التقييمات الفردية وقتًا طويلًا، ويحتوي البحث على عدد يمكن إدارته من المتغيرات المؤثرة. وتشمل تطبيقاته الراسخة التصميم الهندسي، وتجارب المواد، وضبط متحكمات التعلّم المعزز.

في الرؤية الحاسوبية، يختار إعدادات التدريب لـالشبكات العصبية الالتفافية. وقد برهن Jasper Snoek وHugo Larochelle وRyan P. Adams على هذا التطبيق في خوارزمية عملية للتحسين البايزي عام 2012، إلى جانب ضبط آلات المتجهات الداعمة ذات البنية ونماذج الموضوعات.

تتيح Ultralytics YOLO البحث البايزي من خلال تكامل Ray Tune: إذ يؤدي ضبط use_ray=True وsearch_alg="bayesopt" إلى اختيار التحسين البايزي لمعلمات التدريب الفائقة. وبالنسبة إلى كشف الأجسام باستخدام YOLO26، يعظّم البحث مقياس متوسط الدقة الافتراضي للمهمة.

الأساليب ذات الصلة وOptuna#

يقيّم البحث الشبكي مجموعة محددة مسبقًا من التوليفات، بينما يسحب البحث العشوائي إعدادات مستقلة. ويستخدم التحسين البايزي النتائج السابقة لتوجيه الاختيارات اللاحقة. ويحدّث الانحدار المتدرج المعلمات باستخدام المشتقات؛ أما التحسين البايزي فيتعامل مع دوال الهدف الصندوقية المكلفة من خلال التقييمات والنموذج البديل.

تشمل خوارزميات أخذ العينات في Optuna التحسين البايزي بالعملية الغاوسية، وأخذ العينات العشوائي، ومقدّر بارزن ذي البنية الشجرية (TPE). وينمذج TPE توزيعات المعلمات المرتبطة بالنتائج الأفضل والأسوأ، ثم يفضّل المرشحين الذين تكون النسبة بين كثافتيهم أكبر. أما Optuna فهو إطار عمل للتحسين؛ وتحدد أداة أخذ العينات المختارة استراتيجية البحث.

مثال باستخدام Python#

ثبّت bayesian-optimization باستخدام pip install bayesian-optimization. يستخدم هذا المثال دالة الهدف والحدود الواردة في مثال الحزمة التمهيدي للتحسين:

from bayes_opt import BayesianOptimization


def objective(x, y):
    """Return the objective value to maximize."""
    return -(x**2) - (y - 1) ** 2 + 1


optimizer = BayesianOptimization(
    f=objective,
    pbounds={"x": (2, 4), "y": (-3, 3)},
    random_state=1,
    verbose=0,
)
optimizer.maximize(init_points=2, n_iter=15)
best = optimizer.max
print(f"Best objective: {best['target']:.4f}")

يعرض الناتج أفضل قيمة مقاسة لدالة الهدف بعد تقييمين عشوائيين وخمسة عشر تقييمًا موجّهًا بدالة الاكتساب. وضمن هذه الحدود، تبلغ القيمة العظمى الدقيقة -3 عند x=2 وy=1.