ترخيص YOLO
العودة إلى مسرد Ultralytics

Generative Flow Networks (GFlowNets)

تنشئ شبكات التدفق التوليدي (GFlowNets) العناصر خطوة بخطوة، وتأخذ عينات منها بنسبة تتناسب مع مكافآتها، ما ينتج مرشحين متنوعين ذوي درجات عالية.

شبكة التدفق التوليدي (GFlowNet) هي نموذج تعلّم آلي يتعلم بناء كائنات منفصلة، مثل الجزيئات أو الرسوم البيانية أو التسلسلات، عبر سلسلة من الإجراءات، وأخذ عينات لكل كائن مكتمل باحتمال يتناسب مع مكافأة محددة. ويميل وكيل التعلّم المعزز المدرّب على تعظيم المكافأة نفسها إلى الاستقرار على أفضل كائن واحد عثر عليه، بينما ينتج GFlowNet العديد من الكائنات الجيدة المختلفة باحتمالات تتناسب مع جودتها. ويكتسب هذا التنوع أهمية عندما تكون المكافأة بديلًا تقريبيًا قليل الكلفة للهدف الحقيقي، كما في اقتراح نموذج مرشحات أدوية للاختبار المخبري. وعلى خلاف معظم نماذج الذكاء الاصطناعي التوليدي، لا يحتاج GFlowNet إلى بيانات تدريب، بل إلى دالة المكافأة فقط. وقدّم Emmanuel Bengio وMoksh Jain وMaksym Korablyov وDoina Precup وYoshua Bengio من Mila نماذج GFlowNet في NeurIPS 2021 ضمن بحث نماذج توليدية قائمة على شبكات التدفق لتوليد مرشحات متنوعة غير تكرارية.

التدفقات عبر شبكة من الحالات#

التوليد عملية اتخاذ قرارات متتابعة، تشبه عملية قرار ماركوف (MDP) لكن بلا عشوائية في الانتقالات. تبدأ العملية من حالة فارغة، وتضيف كل خطوة عنصر بناء واحدًا، مثل ذرة أو جزء جزيئي أو حافة في رسم بياني أو رمز، حتى تختار السياسة التوقف. ويمكن لترتيبات إجراءات مختلفة أن تصل إلى الكائن نفسه، لذا تشكّل الحالات رسمًا بيانيًا موجّهًا لا دوريًا بدلًا من شجرة:

يأتي الاسم من تصوّر الاحتمال ماءً يتدفق من حالة البداية عبر هذا الرسم البياني، ويتسرّب من كل كائن مكتمل بمعدل يساوي مكافأته. فإذا تساوى التدفق الوارد والصادر عند كل حالة، فإن السياسة الأمامية التي تتبع كل حافة باحتمال يتناسب مع تدفقها تنتج كل كائن باحتمال يساوي مكافأته مقسومة على إجمالي التدفق Z، أي مجموع المكافآت. وحوّلت الورقة الأصلية شرط اتساق التدفق هذا إلى دالة خسارة للتدريب، على نحو يماثل معادلة بيلمان في تعلّم فروق الزمن.

التدريب باستخدام موازنة المسارات#

يفحص هدف موازنة المسارات الذي وضعه Nikolay Malkin وزملاؤه عام 2022 مسارًا كاملًا دفعة واحدة بدلًا من فحص كل حالة: يجب أن يساوي حاصل ضرب إجمالي التدفق المتعلّم Z في احتمالات السياسة الأمامية على طول المسار، المكافأة مضروبة في حاصل ضرب احتمالات السياسة الخلفية التي تصف كيفية تفكيك الكائن المكتمل. والخسارة هي مربع الفرق بين لوغاريتمي طرفي المعادلة. وعندما يكون لكل كائن مسار بناء واحد بالضبط، كما في السلاسل المبنية من اليسار إلى اليمين، تكون السياسة الخلفية 1 ويمكن إغفالها، كما في مثال PyTorch هذا:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

بعد أخذ 2,000 سلسلة عشوائية، تطابق احتمالات السياسة حصص المكافآت حتى منزلتين عشريتين، من 0.03 لكل سلسلة مكافأتها 1 إلى 0.48 للسلسلة 111، التي تبلغ مكافأتها 16، أي نحو نصف الإجمالي، كما يساوي Z المتعلّم مجموع المكافآت، وهو 33. تستبدل نماذج GFlowNet الحقيقية جدول البحث بـشبكة عصبية، غالبًا شبكة عصبية للرسم البياني للجزيئات، وتستكشف باستخدام إجراءات عشوائية أو كائنات عالية المكافأة أُعيد تشغيلها، لأن السياسة لا تتعلم إلا عن الكائنات التي تأخذ منها عينات. أما مُعظِّم المكافأة في المهمة نفسها، فسيضع معظم احتمالاته تقريبًا على 111. ويطبّق ضبط المعاملات الفائقة في Ultralytics YOLO26 أخذ العينات الموزون بالمكافأة يدويًا: يختار model.tune() أصل كل مرشح جديد من أفضل 9 نتائج باحتمال موزون وفقًا للملاءمة، ثم يحرّفه، ما يبقي البحث مستكشفًا لمناطق متعددة حول إعدادات جيدة.

التطبيقات#

  • اكتشاف الأدوية: أنشأت الورقة الأصلية جزيئات من أجزاء، وسجّلتها بنموذج بديل لارتباطها ببروتين الإيبوكسيد هيدرولاز الذائب (sEH)، ووجدت جزيئات متميزة عالية المكافأة أكثر من خطوط الأساس للتعلّم المعزز وسلاسل ماركوف مونت كارلو. وطبّق Moksh Jain وزملاؤه نماذج GFlowNet على تصميم الببتيدات المضادة للميكروبات عام 2022.
  • اكتشاف السببية: يقرّب DAG-GFlowNet (Tristan Deleu وزملاؤه، 2022) التوزيع اللاحق على بنى الرسوم البيانية في الشبكات البايزية، ما يتيح الإبقاء على عدة تفسيرات سببية معقولة قيد النظر.
  • استدلال نماذج اللغة: ضبط Edward Hu وزملاؤه نماذج اللغة بدقة باستخدام أهداف GFlowNet عام 2024 لأخذ عينات من سلاسل الاستدلال واستكمالات النصوص بنسبة تتناسب مع احتمالها اللاحق.
  • التعلّم المعزز لتعظيم المكافأة: يتعلم سياسة لعملية اتخاذ القرار من النوع نفسه، لكنه يعظّم المكافأة المتوقعة، ما يركّز الاحتمالات على أفضل كائن عُثر عليه.
  • سلاسل ماركوف مونت كارلو: تأخذ عينات تتناسب أيضًا مع المكافأة، لكن كل عينة تتطلب سلسلة طويلة من المقترحات؛ أما نموذج GFlowNet المدرّب فينتج عينة في مرور واحد، وهو المقصود بوصفه «غير تكراري» في العنوان الأصلي.
  • الخوارزميات التطورية: تبحث باستخدام الطفرات المصممة يدويًا والاختيار الموزون بالملاءمة بدلًا من سياسة بناء متعلّمة.
  • التدفقات المُطبِّعة: تشترك في كلمة «التدفق»، لكنها تحوّل التوزيعات المستمرة عبر طبقات قابلة للعكس.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة