Long Short-Term Memory (LSTM)

الذاكرة طويلة وقصيرة الأمد (LSTM) هي نوع متخصص من بنية الشبكة العصبية المتكررة (RNN)، قادر على تعلم الاعتماد على الترتيب في مسائل التنبؤ بالتسلسلات. وعلى عكس الشبكات العصبية القياسية ذات التغذية الأمامية، تحتوي شبكات LSTM على وصلات ارتجاعية تتيح لها معالجة نقاط بيانات مفردة (مثل الصور) وتسلسلات بيانات كاملة (مثل الكلام أو الفيديو) على حد سواء. وتجعلها هذه القدرة مناسبة على نحو فريد للمهام التي يكون فيها السياق المستمد من المدخلات السابقة ضروريًا لفهم البيانات الحالية، مما يعالج قيود «الذاكرة قصيرة الأمد» في شبكات RNN التقليدية.

مشكلة شبكات RNN القياسية#

لفهم الابتكار الذي قدمته شبكات LSTM، من المفيد إلقاء نظرة على التحديات التي تواجهها الشبكات العصبية المتكررة الأساسية. فعلى الرغم من تصميم شبكات RNN للتعامل مع المعلومات المتسلسلة، فإنها تواجه صعوبة مع تسلسلات البيانات الطويلة بسبب مشكلة تلاشي التدرج. ومع إجراء الشبكة للانتشار العكسي عبر الزمن، يمكن أن تصبح التدرجات—وهي قيم تُستخدم لتحديث أوزان الشبكة—أصغر أُسِّيًا، مما يمنع الشبكة فعليًا من تعلم الروابط بين الأحداث المتباعدة. وهذا يعني أن شبكة RNN القياسية قد تتذكر كلمة من الجملة السابقة، لكنها تنسى السياق الذي أُنشئ قبل ثلاث فقرات. وقد صُممت شبكات LSTM خصيصًا لحل هذه المشكلة من خلال تقديم بنية داخلية أكثر تعقيدًا يمكنها الحفاظ على نافذة سياق لفترات أطول بكثير.

كيف تعمل شبكات LSTM#

المفهوم الأساسي وراء شبكة LSTM هو حالة الخلية، التي غالبًا ما توصف بأنها حزام ناقل يمتد عبر سلسلة الشبكة بأكملها. وتتيح هذه الحالة للمعلومات التدفق عبرها دون تغيير، مع الحفاظ على الاعتماديات طويلة الأمد. وتتخذ الشبكة قرارات بشأن المعلومات التي ينبغي تخزينها أو تحديثها أو التخلص منها في حالة الخلية باستخدام بُنى تُسمى البوابات.

• بوابة النسيان: تحدد هذه الآلية المعلومات التي لم تعد ذات صلة وينبغي إزالتها من حالة الخلية. فعلى سبيل المثال، إذا واجه نموذج لغوي موضوعًا جديدًا، فقد «ينسى» جنس الموضوع السابق.
• بوابة الإدخال: تحدد هذه البوابة المعلومات الجديدة المهمة بما يكفي لتخزينها في حالة الخلية.
• بوابة الإخراج: تتحكم هذه البوابة أخيرًا في أجزاء الحالة الداخلية التي ينبغي إخراجها إلى الحالة المخفية التالية واستخدامها في التنبؤ الفوري.

من خلال تنظيم تدفق المعلومات هذا، تستطيع شبكات LSTM تجاوز فواصل زمنية تتخطى 1,000 خطوة، متفوقةً بفارق كبير على شبكات RNN التقليدية في المهام التي تتطلب تحليل السلاسل الزمنية.

التطبيقات الواقعية#

أسهمت شبكات LSTM في تحقيق العديد من الاختراقات الكبرى في التعلم العميق خلال العقد الماضي. فيما يلي مثالان بارزان على تطبيقاتها:

• نمذجة التسلسل إلى التسلسل في الترجمة: تُعد شبكات LSTM أساسية في أنظمة الترجمة الآلية. في هذه البنية، تعالج إحدى شبكات LSTM (المشفّر) جملة إدخال بلغة واحدة (مثل الإنجليزية) وتضغطها في متجه سياق. ثم تستخدم شبكة LSTM ثانية (فك التشفير) هذا المتجه لتوليد الترجمة بلغة أخرى (مثل الفرنسية). وتُعد هذه القدرة على التعامل مع تسلسلات إدخال وإخراج ذات أطوال مختلفة أمرًا بالغ الأهمية لـمعالجة اللغة الطبيعية (NLP).
• تحليل الفيديو والتعرف على الأنشطة: بينما تتفوق الشبكات العصبية الالتفافية (CNNs) مثل ResNet-50 في تحديد الكائنات في الصور الثابتة، فإنها تفتقر إلى الإحساس بالزمن. ومن خلال دمج شبكات CNNs مع شبكات LSTM، تستطيع أنظمة الذكاء الاصطناعي إجراء التعرف على الأفعال في تدفقات الفيديو. تستخرج شبكة CNN السمات من كل إطار، ثم تحلل شبكة LSTM تسلسل هذه السمات لتحديد ما إذا كان الشخص يمشي أو يركض أو يسقط.

دمج شبكات LSTM مع الرؤية الحاسوبية#

في الرؤية الحاسوبية الحديثة، تُستخدم شبكات LSTM غالبًا إلى جانب مستخرجات السمات القوية. فعلى سبيل المثال، يمكنك استخدام نموذج YOLO لاكتشاف الكائنات في الإطارات الفردية، واستخدام شبكة LSTM لتتبع مساراتها أو التنبؤ بالحركة المستقبلية.

فيما يلي مثال مفاهيمي باستخدام torch لتعريف شبكة LSTM بسيطة يمكنها معالجة تسلسل من متجهات السمات المستخرجة من دفق فيديو:

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

المفاهيم والتمييزات ذات الصلة#

من المفيد التمييز بين شبكات LSTM وبُنى معالجة التسلسلات الأخرى:

• LSTM في مقابل GRU: تُعد الوحدة المتكررة ذات البوابات (GRU) نسخة مبسطة من شبكة LSTM. تدمج شبكات GRU بوابتي النسيان والإدخال في «بوابة تحديث» واحدة، كما تدمج حالة الخلية والحالة المخفية. وهذا يجعل شبكات GRU أكثر كفاءة حسابيًا وأسرع في التدريب، رغم أن شبكات LSTM قد تتفوق عليها في مجموعات البيانات الأكبر والأكثر تعقيدًا.
• LSTM في مقابل Transformer: حلت بنية Transformer، التي تعتمد على آليات الانتباه الذاتي بدلًا من التكرار، إلى حد كبير محل شبكات LSTM في مهام NLP مثل تلك التي ينفذها GPT-4. تستطيع بنى Transformer معالجة التسلسلات بأكملها بالتوازي بدلًا من معالجتها تسلسليًا، مما يتيح تدريبًا أسرع بكثير على مجموعات البيانات الضخمة. ومع ذلك، تظل شبكات LSTM ذات صلة في السيناريوهات التي تتوافر فيها بيانات محدودة أو قيود زمنية محددة، حيث تكون الكلفة الإضافية لآليات الانتباه غير ضرورية.

التطور والمستقبل#

على الرغم من أن آلية الانتباه تصدرت المشهد في الذكاء الاصطناعي التوليدي، تواصل شبكات LSTM كونها خيارًا متينًا للتطبيقات الأخف وزنًا، ولا سيما في بيئات الذكاء الاصطناعي الطرفي التي تكون فيها الموارد الحاسوبية محدودة. ويواصل الباحثون استكشاف البنى الهجينة التي تجمع بين كفاءة شبكات LSTM في استخدام الذاكرة والقدرة التمثيلية لأنظمة اكتشاف الكائنات الحديثة.

بالنسبة إلى الراغبين في إدارة مجموعات البيانات لتدريب نماذج التسلسلات أو تنفيذ مهام الرؤية المعقدة، توفر منصة Ultralytics أدوات شاملة لإضافة التعليقات التوضيحية وإدارة مجموعات البيانات. علاوة على ذلك، يوفر فهم كيفية عمل شبكات LSTM أساسًا متينًا لاستيعاب النماذج الزمنية الأكثر تقدمًا المستخدمة في المركبات ذاتية القيادة والروبوتات.