Long Short-Term Memory (LSTM)

الذاكرة قصيرة طويلة المدى (LSTM) هي نوع متخصص من بنية الشبكة العصبية المتكررة (RNN) القادرة على تعلم الاعتماد على الترتيب في مشاكل التنبؤ بالتسلسل. على عكس الشبكات العصبية الأمامية القياسية، تحتوي LSTMs على اتصالات تغذية مرتدة تسمح لها بمعالجة ليس فقط نقاط البيانات الفردية (مثل الصور)، بل تسلسلات كاملة من البيانات (مثل الكلام أو الفيديو). تجعلها هذه القدرة مناسبة بشكل فريد للمهام التي يكون فيها السياق من المدخلات السابقة بالغ الأهمية لفهم البيانات الحالية، مع معالجة قيود "الذاكرة قصيرة المدى" لشبكات RNN التقليدية.

المشكلة في شبكات RNN التقليدية#

لفهم الابتكار في LSTMs، من المفيد النظر في التحديات التي تواجهها الشبكات العصبية المتكررة الأساسية. وبينما تم تصميم شبكات RNN يتعامل مع المعلومات التسلسلية، فإنها تعاني من تسلسلات البيانات الطويلة بسبب مشكلة التدرج المتلاشي. مع انتشار الشبكة للخلف عبر الزمن، يمكن أن تصبح التدرجات - القيم المستخدمة لتحديث أوزان الشبكة - أصغر بشكل كبير، مما يمنع الشبكة بشكل فعال من تعلم الاتصالات بين الأحداث البعيدة. هذا يعني أن شبكة RNN القياسية قد تتذكر كلمة من الجملة السابقة ولكنها تنسى السياق الذي تم تأسيسه قبل ثلاث فقرات. تم تصميم LSTMs صراحة لحل هذه المشكلة من خلال تقديم هيكل داخلي أكثر تعقيدًا يمكنه الحفاظ على نافذة السياق على فترات زمنية أطول بكثير.

كيف تعمل شبكات LSTM#

المفهوم الأساسي وراء شبكة LSTM هو حالة الخلية، التي غالباً ما توصف بأنها سير ناقل يمتد عبر سلسلة الشبكة بأكملها. تسمح هذه الحالة للمعلومات بالتدفق على طولها دون تغيير، مما يحافظ على التبعيات طويلة المدى. تتخذ الشبكة قرارات بشأن ما يجب تخزينه أو تحديثه أو تجاهله من حالة الخلية هذه باستخدام هياكل تسمى البوابات.

• بوابة النسيان (Forget Gate): تقرر هذه الآلية المعلومات التي لم تعد ذات صلة ويجب إزالتها من حالة الخلية. على سبيل المثال، إذا واجه نموذج لغوي موضوعاً جديداً، فقد "ينسى" جنس الموضوع السابق.
• بوابة الإدخال (Input Gate): تحدد هذه البوابة المعلومات الجديدة المهمة بما يكفي ليتم تخزينها في حالة الخلية.
• بوابة الإخراج (Output Gate): أخيراً، تتحكم هذه البوابة في الأجزاء التي يجب إخراجها من الحالة الداخلية إلى الحالة المخفية التالية واستخدامها للتنبؤ الفوري.

من خلال تنظيم تدفق المعلومات هذا، يمكن لـ LSTMs جس الفترات الزمنية لأكثر من 1,000 خطوة، متفوقة بكثير على شبكات RNN التقليدية في المهام التي تتطلب تحليل السلاسل الزمنية.

تطبيقات العالم الحقيقي#

قادت LSTMs العديد من الانجازات الكبرى في التعلم العميق خلال العقد الماضي. إليك مثالان بارزان على تطبيقها:

• نمذجة التسلسل إلى التسلسل في الترجمة: تعد LSTMs أساسية لأنظمة الترجمة الآلية. في هذه البنية، تقوم LSTM واحدة (المشفر) بمعالجة جملة مدخلة بلغة واحدة (مثل الإنجليزية) وضغطها في متجه سياق. ثم تستخدم LSTM ثانية (المفكك) هذا المتجه لتوليد الترجمة بلغة أخرى (مثل الفرنسية). هذه القدرة على التعامل مع تسلسلات المدخلات والمخرجات ذات الأطوال المختلفة أمر بالغ الأهمية لـ معالجة اللغات الطبيعية (NLP).
• تحليل الفيديو التعرف على الأنشطة: بينما تتفوق الشبكات العصبية التلافيفية (CNNs) مثل ResNet-50 في تحديد الكائنات في الصور الثابتة، إلا أنها تفتقر إلى الإحساس بالوقت. من خلال الجمع بين CNNs و LSTMs، يمكن لأظمة الذكاء الاصطناعي إجراء التعرف على الإجراءات في تدفقات الفيديو. تستخرج CNN الميزات من كل إطار، وتحلل LSTM تسلسل هذه الميزات لتحديد ما إذا كان الشخص يمشى، أو يجري، أو يسقط.

دمج شبكات LSTM مع الرؤية الحاسوبية#

في رؤية الكمبيوتر الحديثة، غالباً ما تُستخدم LSTMs جنباً إلى جنب مع مستخرجات الميزات القوية. على سبيل المثال، قد تستخدم نموذج YOLO لاكتشاف الكائنات في إطارات فردية و LSTM لتتبع مساراتها أو التنبؤ بالحركة المستقبلية.

إليك مثال مفاهيمي باستخدام torch لتحديد LSTM بسيط يمكنه معالجة تسلسل من متجهات الميزات المستخرجة من دفق فيديو:

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

المفاهيم ذات الصلة والفروقات#

من المفيد تمييز شبكات LSTM عن بنيات معالجة التسلسل الأخرى:

• LSTM مقابل GRU: وحدة التكرار المسورة (GRU) هي تنوع مبسط لـ LSTM. تجمع GRUs بين بوابتي النسيان والإدخال في "بوابة تحديث" واحدة وتدمج حالة الخلية والحالة المخفية. هذا يجعل GRUs أكثر كفاءة من الناحية الحسابية وأسرع في التدريب، على الرغم من أن LSTMs قد تظل تفوقهم على مجموعات البيانات الأكبر والأكثر تعقيدًا.
• LSTM مقابل Transformers: بنية Transformer، التي تعتمد على آليات الانتباه الذاتي بدلاً من التكرار، قد حلت محل LSTMs إلى حد كبير في مهام NLP مثل تلك التي يؤديها GPT-4. يمكن لـ Transformers معالجة التسلسلات بأكملها بالتوازي بدلاً من التسلسل، مما يسمح بتدريب أسرع بكثير على مجموعات بيانات ضخمة. ومع ذلك، تظل LSTMs ذات صلة في السيناريوهات ذات البيانات المحدودة أو قيود السلاسل الزمنية المحددة حيث تكون التكلفة العامة لآليات الانتباه غير ضرورية.

التطور والمستقبل#

بينما احتلت آلية الانتباه مركز الصدارة في الذكاء الاصطناعي التوليدي، تستمر LSTMs في كونها خيارًا قويًا للتطبيقات الخفيفة، لا سيما في بيئات الذكاء الاصطناعي على الحافة حيث تكون الموارد الحسابية محدودة. يستمر الباحثون في استكشاف الهيئات الهجينة التي تجمع بين كفاءة الذاكرة لـ LSTMs والقوة التمثيلية لنظم الكشف عن الكائنات الحديثة.

بالنسبة لأولئك الذين يتطلعون إلى إدارة مجموعات البيانات لتدريب نماذج التسلسل أو مهام الرؤية المعقدة، توفر منصة Ultralytics أدوات شاملة للتعليقات التوضيحية وإدارة مجموعات البيانات. علاوة على ذلك، فإن فهم كيفية عمل LSTMs يوفر أساسًا قويًا لفهم النماذج الزمنية الأكثر تقدماً المستخدمة في المركبات المستقلة والروبوتات.