الذاكرة طويلة المدى (LSTM)

الذاكرة طويلة المدى (LSTM) هي نوع متخصص من بنية الشبكة العصبية المتكررة (RNN) المصممة لتعلم وتذكر الأنماط عبر تسلسلات طويلة من البيانات. على عكس الشبكات العصبية المتكررة القياسية، التي تعاني من التبعيات طويلة المدى بسبب مشكلة تلاشي التدرج، تستخدم شبكات LSTM آلية بوابات فريدة لتنظيم تدفق المعلومات. يتيح ذلك للشبكة الاحتفاظ بشكل انتقائي بالمعلومات المهمة لفترات طويلة مع تجاهل البيانات غير ذات الصلة، مما يجعلها حجر الزاوية في التعلم العميق الحديث، وخاصة في معالجة اللغة الطبيعية (NLP). وضعت ورقة LSTM التأسيسية التي كتبها Hochreiter و Schmidhuber الأساس لهذه التكنولوجيا القوية.

كيف تعمل شبكات LSTM

يكمن مفتاح قدرة LSTM في هيكلها الداخلي، والذي يتضمن "حالة الخلية" والعديد من "البوابات". تعمل حالة الخلية كحزام ناقل، يحمل المعلومات ذات الصلة عبر التسلسل. البوابات - الإدخال والنسيان والإخراج - هي شبكات عصبية تتحكم في المعلومات التي تتم إضافتها إلى حالة الخلية أو إزالتها منها أو قراءتها منها.

• بوابة النسيان: تحدد المعلومات التي يجب التخلص منها من حالة الخلية السابقة.
• بوابة الإدخال: تحدد المعلومات الجديدة من الإدخال الحالي التي يجب تخزينها في حالة الخلية.
• بوابة الإخراج: تتحكم في المعلومات المستخدمة من حالة الخلية لإنشاء الإخراج للخطوة الزمنية الحالية.

تمكن هيكلة البوابة هذه شبكات LSTM من الحفاظ على السياق عبر العديد من الخطوات الزمنية، وهي ميزة حاسمة لفهم البيانات التسلسلية مثل النص أو السلاسل الزمنية (time series). يمكن العثور على تصور تفصيلي في منشور مدونة فهم شبكات LSTMs الشهير هذا.

تطبيقات واقعية

تم تطبيق LSTMs بنجاح عبر العديد من المجالات التي تتضمن بيانات تسلسلية.

1. الترجمة الآلية: يمكن لشبكات LSTM معالجة جملة في لغة ما كلمة بكلمة، وبناء تمثيل داخلي (فهم)، ثم إنشاء ترجمة بلغة أخرى. يتطلب هذا تذكر السياق من بداية الجملة لإنتاج ترجمة متماسكة. استخدمت خدمة ترجمة جوجل (Google Translate) تاريخيًا نماذج قائمة على LSTM لهذا الغرض قبل الانتقال إلى هياكل Transformer.
2. التعرف على الكلام: في تطبيقات تحويل الكلام إلى نص، يمكن لشبكات LSTM معالجة تسلسلات من ميزات الصوت لنسخ الكلمات المنطوقة. يحتاج النموذج إلى مراعاة الأصوات السابقة لتفسير الصوت الحالي بشكل صحيح، مما يدل على قدرته على التعامل مع التبعيات الزمنية. اعتمد العديد من المساعدين الافتراضيين الحديثين على هذه التقنية.

مقارنة مع نماذج التسلسل الأخرى

تعد LSTMs جزءًا من عائلة أوسع من النماذج للبيانات التسلسلية.

• وحدة التكرار الموجه (GRU): GRU هي نسخة مبسطة من LSTM. فهو يجمع بين بوابات النسيان والإدخال في "بوابة تحديث" واحدة ويدمج حالة الخلية والحالة المخفية. وهذا يجعل GRU أكثر كفاءة من الناحية الحسابية وأسرع في التدريب، على الرغم من أنها قد تكون أقل تعبيرًا بقليل من LSTMs في بعض المهام.
• نماذج ماركوف المخفية (HMMs): نماذج ماركوف المخفية هي نماذج احتمالية أقل تعقيدًا من شبكات LSTMs. على الرغم من أنها مفيدة لمهام التسلسل الأبسط، إلا أنها لا تستطيع التقاط التبعيات المعقدة بعيدة المدى التي تستطيع شبكات LSTMs وغيرها من الشبكات العصبية التقاطها.
• Transformer: تجاوزت بنية Transformer، التي تعتمد على آلية الانتباه الذاتي (self-attention mechanism)، إلى حد كبير شبكات LSTM باعتبارها الأحدث في العديد من مهام معالجة اللغات الطبيعية (NLP). على عكس المعالجة التسلسلية لشبكات LSTM، يمكن لـ Transformers معالجة جميع عناصر التسلسل بالتوازي، مما يجعلها عالية الكفاءة على الأجهزة الحديثة مثل وحدات معالجة الرسومات (GPUs) وأفضل في التقاط التبعيات العالمية.

التنفيذ والأدوات

يمكن تنفيذ LSTMs بسهولة باستخدام أطر عمل التعلم العميق الشائعة مثل PyTorch (راجع وثائق PyTorch LSTM) و TensorFlow (راجع وثائق TensorFlow LSTM). بينما تركز Ultralytics في المقام الأول على نماذج رؤية الكمبيوتر (CV) مثل Ultralytics YOLO لمهام مثل اكتشاف الكائنات و تقسيم المثيلات، فإن فهم النماذج التسلسلية أمر قيم، خاصة وأن الأبحاث تستكشف ربط البرمجة اللغوية العصبية ورؤية الكمبيوتر لمهام مثل فهم الفيديو أو التعليق على الصور. يمكنك استكشاف نماذج ومفاهيم ML المختلفة بشكل أكبر في وثائق Ultralytics. يمكن تبسيط إدارة التدريب و نشر النماذج المختلفة باستخدام منصات مثل Ultralytics HUB. تقدم موارد مثل DeepLearning.AI دورات تدريبية تغطي النماذج التسلسلية، بما في ذلك LSTMs.