Capsule Networks (CapsNet)

شبكات الكبسولات (CapsNets) هي شبكات عصبية مبنية من كبسولات، وهي مجموعات صغيرة من العصبونات يكون خرجها متجهًا بدلًا من رقم واحد. ويمثل طول متجه الكبسولة احتمال وجود كيان، مثل رقم أو عين أو عجلة، بينما يرمّز اتجاهه معلمات تجسيد ذلك الكيان: الموضع والحجم والاتجاه وسُمك الخط وخصائص أخرى للوضعية والتشوه. قدم Geoffrey Hinton وAlex Krizhevsky وSida Wang الكبسولات في بحث صدر عام 2011 حول المحوّلات التلقائية، ثم حولها Sara Sabour وNicholas Frosst وHinton إلى مصنّف عامل في التوجيه الديناميكي بين الكبسولات، الذي عُرض في NIPS 2017، ويصل الكبسولات في الطبقات المتعاقبة بخوارزمية تكرارية تُسمى التوجيه بالاتفاق.

لماذا تستبدل الكبسولات التجميع الأقصى#

تكتشف الشبكة العصبية الالتفافية (CNN) الميزات باستخدام تنشيطات عددية، وغالبًا ما تقلص خرائط الميزات باستخدام التجميع الأقصى، الذي يحتفظ بأقوى استجابة في كل نافذة ويتجاهل موضعها داخل النافذة. يجعل ذلك الاكتشاف متسامحًا مع الإزاحات الصغيرة، لكن الشبكة التي تتحقق فقط من وجود الأجزاء قد تقبل وجهًا يقع فيه الفم فوق العينين، وهي المشكلة التي تُعرف بمشكلة بيكاسو. دعا Hinton إلى التكافؤ بدلًا من الثبات: فعندما يتحرك كائن أو يدور، ينبغي أن يدور متجه الكبسولة معه، بينما يظل طوله، أي احتمال وجود الكائن، كما هو. وتحتاج الكبسولات التي تتعلم المنظور بهذه الطريقة إلى قدر أقل من تعزيز البيانات الذي تستخدمه CNN للتعرف على الكائنات من زوايا جديدة.

تحافظ Ultralytics YOLO26 على مواضع الكائنات دون كبسولات: إذ تخفض خمس التفافات بخطوة 2 دقة الإدخال إلى 1/32، وكتلة التجميع الأقصى الوحيدة فيها، وهي SPPF، تجمع بخطوة 1 باستخدام نافذة 5 x 5 ثلاث مرات متتالية، فتوسع المجال الاستقبالي دون تقليص الشبكة التي يتنبأ منها رأس الاكتشاف.

كيفية عمل التوجيه الديناميكي#

تضرب كل كبسولة في طبقة أدنى خرجها بمصفوفة أوزان متعلّمة للتنبؤ بخرج كل كبسولة في الطبقة الأعلى. ثم يحدد التوجيه مقدار خرج كل كبسولة فرعية الذي يصل إلى كل كبسولة أبوية. وتنتج دالة softmax المطبقة على سجلات التوجيه، التي تبدأ من الصفر، معاملات اقتران توزع خرج كل كبسولة فرعية على الكبسولات الأبوية. وتجمع كل كبسولة أبوية التنبؤات الموزونة بهذه المعاملات، ثم تطبق دالة الضغط التي تحافظ على اتجاه المتجه وتحصر طوله بين 0 و1. ويُضاف الجداء النقطي بين كل تنبؤ والخرج الجديد للكبسولة الأبوية إلى السجل، لذا ترسل الكبسولات الفرعية مزيدًا من خرجها إلى الكبسولات الأبوية التي تنبأت بحالتها:

import torch

torch.manual_seed(0)

# ⁨تتنبأ 6 كبسولات فرعية بوضعية ذات 8 أبعاد لكبسولتين أبويتين⁩
predictions = 0.2 * torch.randn(6, 2, 8)
pose = 0.5 * torch.randn(8)
predictions[:4, 0] = pose + 0.05 * torch.randn(4, 8)  # ⁨تتفق الكبسولات الفرعية من 0 إلى 3 على الكبسولة الأبوية 0⁩

logits = torch.zeros(6, 2)
for _ in range(3):  # ⁨التوجيه بالاتفاق، 3 تكرارات كما في البحث⁩
    coupling = logits.softmax(dim=1)  # ⁨توزع كل كبسولة فرعية تصويتها على الكبسولات الأبوية⁩
    s = (coupling.unsqueeze(-1) * predictions).sum(dim=0)
    squared = s.square().sum(dim=-1, keepdim=True)
    parents = squared / (1 + squared) * s / squared.sqrt()  # ⁨الضغط: الطول ضمن [0, 1)⁩
    logits = logits + (predictions * parents).sum(dim=-1)  # ⁨يزيد الاتفاق قيمة السجل⁩

print(coupling[:, 0].round(decimals=2))
print(parents.norm(dim=-1).round(decimals=2))

يطبع tensor([0.9700, 0.9700, 0.9700, 0.9700, 0.5700, 0.4700]) وtensor([0.9800, 0.1500]). وبعد ثلاث تكرارات، ترسل الكبسولات الفرعية الأربع المتفقة 97% من خرجها إلى الكبسولة الأبوية 0، بينما تظل الكبسولتان الأخريان قريبتين من تقسيم متساوٍ، ويبلغ طول متجه الكبسولة الأبوية 0 مقدار 0.98، في حين يبقى طول متجه الكبسولة الأبوية 1 عند 0.15، إذ لم تتلق سوى أصوات متناثرة. يشبه التوجيه آلية الانتباه في محوّل عند تشغيلها في الاتجاه المعاكس: إذ تُطبّق softmax على الكبسولات الأبوية التي يمكن للكبسولة الفرعية الإرسال إليها، فتتنافس الكبسولات الأبوية على خرج كل كبسولة فرعية.

CapsNet لعام 2017 ونتائجه#

الشبكة الأصلية ضحلة: تُغذّي طبقةُ التفافٍ تضم 256 نواةً بحجم 9 x 9 طبقةَ PrimaryCaps، وهي طبقة كبسولات التفافية تحوّل صورة رقم أبعادها 28 x 28 إلى 32 x 6 x 6 = 1,152 كبسولةً ذات ثمانية أبعاد، ثم تربط آلية التوجيه هذه الكبسولات بطبقة DigitCaps، التي تضم كبسولة واحدة ذات 16 بُعدًا لكل فئة. يجمع التدريب بين دالة الخسارة الهامشية المطبقة على أطوال الكبسولات، والتي تدفع طول الكبسولة إلى ما فوق 0.9 للأرقام الموجودة وإلى ما دون 0.1 للأرقام الأخرى، وبين مُفكِّك ترميز يعيد بناء الصورة انطلاقًا من كبسولة الرقم الصحيحة، مولِّدًا حدًّا على نمط المُرمِّز التلقائي، وهو حدٌّ من التنظيم مضروبٌ في 0.0005. ويؤدي تغيير قيمة أحد الأبعاد الـ16 وفك ترميز الناتج إلى تغيير خاصية واحدة، مثل المقياس أو سُمك الخط أو الميل أو العرض، ما يجعل فحص مخرجات الكبسولات أسهل من فحص تنشيطات CNN، وهو هدف مشترك مع الذكاء الاصطناعي القابل للتفسير (AI).

بـ8.2 ملايين معلمة مقارنةً بـ35.4 مليونًا في CNN أساسية، حققت CapsNet خطأ اختبار بنسبة 0.25% على MNIST، مقارنةً بنسبة 0.39% للنموذج الأساسي، و5.2% مقابل 8.1% على MultiMNIST، الذي يضم أزواجًا من الأرقام تتداخل مربعاتها المحيطة بنسبة 80% في المتوسط. وعند تدريبها على أرقام MNIST المزاحة بما يصل إلى بكسلين فقط، حققت 79% على affNIST، الذي يضم الأرقام نفسها بعد تحويلات أفينية عشوائية، بينما حققت CNN ذات عدد المعلمات المشابه 66%. وعلى CIFAR-10، حقق تجميع من سبع شبكات CapsNet خطأ بنسبة 10.6%، أي ما يقارب أداء CNN عند تطبيقها على مجموعة البيانات تلك للمرة الأولى، وأرجع المؤلفون الفجوة إلى محاولة الكبسولات التعامل مع الخلفيات المزدحمة.

القيود ونماذج الكبسولات اللاحقة#

ينفذ التوجيه عدة تكرارات على كل زوج من الكبسولات الفرعية والأبوية، لذا يزداد استهلاك الحوسبة والذاكرة بسرعة مع حجم الصورة وعدد الفئات، ولم تضاهِ شبكات الكبسولات قط أداء CNN أو محوّلات الرؤية في معايير تصنيف الصور الكبيرة مثل ImageNet. وطبّق الباحثون هذه الشبكات في تحليل الصور الطبية، مثل تصنيف أنواع أورام الدماغ من صور الرنين المغناطيسي، حيث تكون مجموعات التدريب صغيرة.

استبدلت كبسولات المصفوفات ذات توجيه EM، التي قدمها Hinton وSabour وFrosst في ICLR 2018، متجهات الوضعية بمصفوفات وضعية 4 x 4، واستخدمت التوجيه بخوارزمية تعظيم التوقع؛ وعلى معيار smallNORB للأجسام اللعبة المصوّرة من منظورات عديدة، خفضت أخطاء الاختبار بنسبة 45% مقارنةً بأفضل أداء سابق، وقاومت الهجمات الخصومية ذات الصندوق الأبيض أفضل من CNN أساسية. ثم ظهرت المُشفّرات التلقائية المتراصة للكبسولات عام 2019 وتعلمت الكبسولات دون تسميات، واقترح Hinton عام 2021 نموذج GLOM الذي يمثل التسلسلات الهرمية نفسها للأجزاء والكل في صورة جزر من متجهات تضمين متفقة، دون أي توجيه ديناميكي.