Hopfield Networks

الشبكات الهوبفيلدية هي شبكات عصبية تكرارية تخزّن الأنماط وتستعيدها من مدخلات ناقصة أو مشوّهة. وهي تعمل بوصفها ذاكرة ترابطية: إذ يُستخدم جزء من النمط كإشارة لاسترجاعه كاملًا. وتتصرف الذاكرة المخزنة كأنها وادٍ في مشهد للطاقة، فيما تستقر حالة الشبكة المتغيرة باتجاه وادٍ قريب.

قدّم John J. Hopfield النموذج عام 1982 من خلال عمله على الحوسبة الجماعية في الشبكات العصبية. وتُعدّ «شبكة هوبفيلد» و«عقدة هوبفيلد» و«نموذج هوبفيلد» تسميات شائعة مترادفة. وينتمي هذا المعمار إلى عائلة الشبكات العصبية التكرارية، لأن وصلات التغذية الراجعة تحدّث حالته الداخلية مرارًا.

كيفية تخزين الأنماط واسترجاعها في شبكات هوبفيلد#

تتكون شبكة هوبفيلد الكلاسيكية من عصبونات مترابطة، تُمثّل حالاتها عادةً بالقيمتين −1 أو +1. وتكون أوزان النموذج متناظرة: فالوصلة من العصبون A إلى العصبون B تساوي الوصلة من العصبون B إلى العصبون A. وتضبط التهيئات القياسية الوصلات الذاتية على الصفر. يخزّن التعلّم الهيبي الأنماط بتقوية الوصلات بين العصبونات التي تتوافق حالاتها في الأمثلة المخزنة. ومن الناحية الحاسوبية، يضيف هذا الأسلوب حاصل الضرب الخارجي لكل نمط—أي مصفوفة من جداءات الأزواج—إلى مصفوفة الأوزان.

أثناء الاسترجاع، يجمع كل عصبون مدخلاته الموزونة ويطبّق دالة تنشيط ذات عتبة. ويغيّر التحديث غير المتزامن عصبونًا واحدًا في كل مرة. ومع الأوزان المتناظرة، والوصلات الذاتية الصفرية، وثبات الحالات عند التعادل الدقيق للعتبة، يخفض كل تغير في الحالة دالة الطاقة إلى أن تصل الشبكة إلى تهيئة مستقرة. وتُسمى هذه التهيئة جاذبًا؛ أما الحالات الابتدائية التي تتقارب إليه فتشكّل حوض الجذب الخاص به. وقد يؤدي تحديث جميع العصبونات في الوقت نفسه إلى حدوث تذبذبات بين التهيئات.

التخزين والاسترجاع عمليتان منفصلتان. يغيّر التخزين الوصلات، بينما يغيّر الاسترجاع حالات العصبونات مع إبقاء تلك الوصلات ثابتة. وهذا يجعل الاسترجاع نوعًا من تحسين الحالة، لا جولة أخرى من الانتشار العكسي.

استعادة الأنماط باستخدام Python#

يخزّن مثال PyTorch التالي نمطًا ثنائيًا واحدًا باستخدام قاعدة هيب، ويقلب قيمتين، ثم يسترجع الذاكرة من خلال تحديثات غير متزامنة.

import torch

memory = torch.tensor([1.0, -1.0, 1.0, -1.0, 1.0, -1.0, 1.0, -1.0])
weights = torch.outer(memory, memory) / memory.numel()
weights.fill_diagonal_(0)

state = memory.clone()
state[[1, 6]] *= -1
initial_errors = int((state != memory).sum())

while True:
    previous = state.clone()
    for i in range(state.numel()):
        field = weights[i] @ state
        # Preserve the current state when the weighted input is zero.
        if field != 0:
            state[i] = field.sign()
    if torch.equal(state, previous):
        break

print(f"Bit errors: {initial_errors} -> {int((state != memory).sum())}")

الناتج هو Bit errors: 2 -> 0: تعيد التحديثات التكرارية بناء النمط المخزن انطلاقًا من إشارته المشوّهة، باستخدام ديناميكيات الذاكرة الترابطية القياسية.

الشبكات المستمرة والانتباه والتطبيقات#

تستخدم شبكات هوبفيلد المستمرة مخرجات متدرجة للعصبونات، مثل دالة سيغمويد، وتتطور نحو حالة اتزان. وقدّم Hopfield هذه الصياغة عام 1984. وتوسّع شبكات هوبفيلد الحديثة نطاق الذاكرة الترابطية باستخدام دوال طاقة مختلفة وسعات تخزين أكبر؛ وتعمل متغيراتها ذات الحالة المستمرة على متجهات ذات قيم حقيقية.

ربط Hubert Ramsauer وزملاؤه استرجاع هوبفيلد الحديث بـآليات الانتباه عام 2020. وتُقارَن استعلامات بالمتجهات المخزنة، وتحول دالة softmax درجات التشابه إلى أوزان، ثم يسترجع تركيب موزون المعلومات المرتبطة. وهذا يتيح تفسير عملية الانتباه المستخدمة في المحوّل بوصفها ذاكرة ترابطية.

في تمثيلات الصور، تتيح YOLO26 من Ultralytics إجراء استخراج السمات عبر model.embed()، وتُرجع تضمينات الصور. وتوفر هذه المتجهات التمثيل ذي القيم الحقيقية الذي تستخدمه طبقات الذاكرة الترابطية الحديثة.

تشمل التطبيقات الراسخة استعادة الأنماط المرئية المخزنة، وتجميع مجموعات كبيرة من السمات، والتحسين المقيّد. وقد طبّق Hopfield وDavid Tank شبكة تناظرية على مسألة البائع المتجول عام 1985، إذ شفّرا جودة المسار والقيود ضمن مشهد الطاقة. كما يدعم التجميع باستخدام شبكات هوبفيلد الحديثة تصنيف مخزون المناعة، من خلال تجميع المعلومات عبر مئات الآلاف من التسلسلات البيولوجية باستخدام التعلّم متعدد المثيلات.

المفاهيم ذات الصلة وحدود التخزين#

يتعلم المشفّر التلقائي تعيينًا بين المشفّر ومفكّك التشفير يعيد بناء المدخلات؛ أما شبكة هوبفيلد الكلاسيكية فتعيد بناء الأنماط بالاستقرار عند الجاذبات. ويخزّن بنك الذاكرة التمثيلات لإتاحتها لاحقًا، بينما تحدد ديناميكيات هوبفيلد كيفية استرجاع إشارةٍ لحالة مرتبطة بها.

تظهر أخطاء الاسترجاع في الشبكات الكلاسيكية عندما تتداخل الذكريات. فالأنماط المترابطة تولّد تداخلًا متبادلًا، وقد تعيد الجاذبات الزائفة خلطات من الذكريات المخزنة. وفي الشبكات الهيبية الكلاسيكية الكبيرة التي تخزّن أنماطًا ثنائية عشوائية وغير مترابطة تقريبًا، يبلغ تقدير السعة الشائع نحو 0.14 من عدد العصبونات عند السماح بنسبة صغيرة من أخطاء الاسترجاع—أي نحو 140 نمطًا لكل 1,000 عصبون.