الذاكرة طويلة وقصيرة المدى (LSTM)

كيف تعمل الآلات LSTMs

إن مفتاح قدرة LSTM هو هيكلها الداخلي، والذي يتضمن "حالة الخلية" والعديد من "البوابات". تعمل حالة الخلية كحزام ناقل يحمل المعلومات ذات الصلة من خلال التسلسل. والبوابات - المدخلات والنسيان والمخرجات - هي شبكات عصبية تتحكم في المعلومات التي تضاف إلى حالة الخلية أو تُزال منها أو تُقرأ منها.

• بوابة النسيان: يقرر المعلومات التي يجب تجاهلها من حالة الخلية السابقة.
• بوابة الإدخال: تحدد المعلومات الجديدة من المدخلات الحالية التي يجب تخزينها في حالة الخلية.
• بوابة الإخراج: يتحكم في المعلومات التي يتم استخدامها من حالة الخلية لتوليد الخرج للخطوة الزمنية الحالية.

تتيح هذه البنية البوابية لآلات LSTMs الحفاظ على السياق على مدى العديد من الخطوات الزمنية، وهي ميزة مهمة لفهم البيانات المتسلسلة مثل النصوص أو السلاسل الزمنية. يمكن العثور على تصور مفصل في منشور مدونة فهم LSTMs الشهير هذا.

التطبيقات الواقعية

وقد تم تطبيق آليات LSTMs بنجاح في العديد من المجالات التي تتضمن بيانات متسلسلة.

1. الترجمة الآلية: يمكن لآلات LSTMs معالجة جملة بلغة واحدة كلمة بكلمة، وبناء تمثيل داخلي (فهم)، ثم توليد ترجمة بلغة أخرى. يتطلب ذلك تذكر السياق من بداية الجملة لإنتاج ترجمة متماسكة. استخدمت Google Translate تاريخيًا النماذج المستندة إلى LSTM لهذا الغرض قبل الانتقال إلى بنيات المحولات.
2. التعرف على الكلام: في تطبيقات تحويل الكلام إلى نص، يمكن لـ LSTMs معالجة تسلسلات من الميزات الصوتية لنسخ الكلمات المنطوقة. يحتاج النموذج إلى مراعاة الأصوات السابقة لتفسير الصوت الحالي بشكل صحيح، مما يدل على قدرته على التعامل مع التبعيات الزمنية. وقد اعتمدت العديد من المساعدات الافتراضية الحديثة على هذه التقنية.

مقارنة مع نماذج التسلسل الأخرى

تُعد LSTMs جزءًا من عائلة أوسع من النماذج الخاصة بالبيانات المتسلسلة.

• وحدة متكررة ذات بوابات (GRU): وحدة GRU هي نسخة مبسطة من LSTM. وهي تجمع بوابات النسيان والمدخلات في "بوابة تحديث" واحدة وتدمج حالة الخلية والحالة المخفية. وهذا يجعل وحدات GRU أكثر كفاءة من الناحية الحسابية وأسرع في التدريب، على الرغم من أنها قد تكون أقل تعبيرًا قليلاً من LSTMs في بعض المهام.
• نماذج ماركوف المخفية (HMMs): نماذج HMMs هي نماذج احتمالية أقل تعقيدًا من نماذج LSTMs. وفي حين أنها مفيدة للمهام المتسلسلة الأبسط، إلا أنها لا يمكنها التقاط التبعيات المعقدة بعيدة المدى التي يمكن أن تلتقطها نماذج LSTMs والشبكات العصبية الأخرى.
• المحول: لقد تفوقت بنية المحولات، التي تعتمد على آلية الانتباه الذاتي، إلى حد كبير على الآليات ذاتية الانتباه، على الآليات ذات التسلسلات المتسلسلة ذاتية التسلسل LSTMs باعتبارها أحدث ما توصلت إليه العديد من مهام البرمجة اللغوية العصبية. على عكس المعالجة التسلسلية لآلية LSTMs، يمكن للمحوّلات معالجة جميع عناصر التسلسل بالتوازي، مما يجعلها ذات كفاءة عالية على الأجهزة الحديثة مثل وحدات معالجة الرسوميات وأفضل في التقاط التبعيات العالمية.

التنفيذ والأدوات

يمكن تنفيذ LSTMs بسهولة باستخدام أطر التعلم العميق الشائعة مثل PyTorch (انظر وثائق PyTorch LSTM) و TensorFlow (انظر وثائق TensorFlow LSTM). بينما يركز Ultralytics في المقام الأول على نماذج الرؤية الحاسوبية (CV) مثل Ultralytics YOLO لمهام مثل اكتشاف الكائنات وتجزئة النماذج، فإن فهم نماذج التسلسل أمر قيّم، خاصةً وأن الأبحاث تستكشف الربط بين البرمجة اللغوية العصبية والسيرة الذاتية لمهام مثل فهم الفيديو أو شرح الصور. يمكنك استكشاف مختلف نماذج ومفاهيم تعلّم الآلة بشكل أكبر في وثائق Ultralytics. يمكن تبسيط إدارة تدريب ونشر النماذج المختلفة باستخدام منصات مثل Ultralytics HUB. تقدم موارد مثل DeepLearning.AI دورات تدريبية تغطي نماذج التسلسل، بما في ذلك LSTMs.