Gated Recurrent Unit (GRU)

الوحدة المتكررة ذات البوابة (GRU) هي خلية في شبكة عصبية متكررة (RNN) تعالج تسلسلًا خطوةً خطوة، وتستخدم بوابتين متعلّمتين، بوابة التحديث وبوابة إعادة الضبط، لتحديد مقدار الذاكرة التي تحتفظ بها ومقدار ما تستبدله في كل خطوة. قدّمها كيونغهيون تشو وزملاؤه عام 2014 في مُرمِّز ومفكّك ترميز RNN للترجمة الآلية. وتتيح البوابات للتدرجات الانتقال عبر خطوات زمنية عديدة، لذا تتعلّم GRU التبعيات بعيدة المدى على نحو أفضل من RNN بسيطة تعاني مشكلة تلاشي التدرج. وتُعد GRU نسخة مبسطة من شبكة الذاكرة طويلة قصيرة الأمد (LSTM)، إذ تضم حالة مخفية واحدة بدلًا من حالتين وثلاث كتل أوزان بدلًا من أربع، وتُستخدم في تحليل السلاسل الزمنية والكلام وغيرها من البيانات المتسلسلة.

آلية عمل GRU#

في كل خطوة زمنية t، تدمج GRU المدخل الحالي xₜ مع حالتها المخفية السابقة hₜ₋₁. وتستخدم بوابتان دالة السيغمويد لإخراج قيم بين 0 و1 لكل عنصر في الحالة:

• بوابة إعادة الضبط: تحدد rₜ = σ(Wᵣxₜ + Uᵣhₜ₋₁ + bᵣ مقدار الحالة السابقة المستخدم عند اقتراح محتوى جديد. تتيح القيم القريبة من 0 للخلية تجاهل تاريخها، ما يفيد عند الحدود، مثل بداية عبارة جديدة.
• بوابة التحديث: تحدد zₜ = σ(W_z xₜ + U_z hₜ₋₁ + b_z) مقدار الحالة السابقة التي ينبغي الاحتفاظ بها. وتنسخ القيم القريبة من 1 الحالة القديمة إلى الخطوة التالية من دون تغيير يُذكر، ما يسمح ببقاء المعلومات عبر مدد طويلة.
• الحالة المرشحة: تقترح h̃ₜ = tanh(Wxₜ + U(rₜ ⊙ hₜ₋₁) + b) محتوى جديدًا من المدخل والتاريخ المضروب في مقياس إعادة الضبط، باستخدام tanh لإبقاء القيم بين −1 و1.
• الحالة الجديدة: تمزج hₜ = (1 − zₜ) ⊙ h̃ₜ + zₜ ⊙ hₜ₋₁ الحالة المرشحة بالحالة القديمة، عنصرًا عنصرًا.

عندما تظل بوابة التحديث قريبة من 1، تكون الحالة الجديدة نسخة شبه مطابقة للحالة القديمة، ويمر التدرج عائدًا عبر تلك النسخة مع اضمحلال طفيف. ويؤدي هذا المسار الجمعي دورًا مماثلًا لحالة الخلية في LSTM. تتبع المعادلات أعلاه الورقة الأصلية، حيث يزن zₜ الحالة القديمة؛ وتبدّل بعض المراجع دوري zₜ و1 − zₜ، وهو ما يصف الخلية نفسها. تستخدم nn.GRU في PyTorch المزج نفسه، لكنها تطبّق بوابة إعادة الضبط بعد ضرب المصفوفة، بالشكل rₜ ⊙ (Uhₜ₋₁ + b)، وهو نوع شائع من الحالة المرشحة.

GRU في PyTorch#

يشغّل المقتطف أدناه GRU على تسلسل من متجهات السمات، مثل سمات كل إطار في فيديو، ويقارن حجمها بحجم LSTM بالعرض نفسه:

import torch
from torch import nn

# A sequence of 64-dim features from 5 video frames: (batch, time, features)
frames = torch.randn(1, 5, 64)

# A GRU with a 128-dim hidden state, and an LSTM of the same size for comparison
gru = nn.GRU(input_size=64, hidden_size=128, batch_first=True)
lstm = nn.LSTM(input_size=64, hidden_size=128, batch_first=True)

# outputs holds the hidden state at every step; h_n is the final state
outputs, h_n = gru(frames)
print(f"Outputs: {tuple(outputs.shape)}, final state: {tuple(h_n.shape)}")

# GRU weights cover 3 blocks (reset, update, candidate); LSTM weights cover 4
gru_params = sum(p.numel() for p in gru.parameters())
lstm_params = sum(p.numel() for p in lstm.parameters())
print(f"GRU: {gru_params:,} parameters, LSTM: {lstm_params:,} parameters")

يطبع Outputs: (1, 5, 128), final state: (1, 1, 128) وGRU: 74,496 parameters, LSTM: 99,328 parameters. وتُرجع GRU حالة واحدة ذات 128 بُعدًا لكل إطار، بالإضافة إلى الحالة النهائية التي تلخّص التسلسل كله لمصنّف لاحق، وتحتاج إلى ثلاثة أرباع عدد معلمات LSTM بالضبط.

GRU مقارنةً بـ LSTM وTransformers#

• LSTM: تحتفظ بحالة خلية منفصلة إلى جانب الحالة المخفية، وتستخدم ثلاث بوابات (الإدخال والنسيان والإخراج). وتدمج GRU الحالتين وتستغني عن بوابة الإخراج، لذلك تتدرب أسرع في كل خطوة وبعدد أقل من المعلمات. وفي مقارنة تجريبية أجراها جون يونغ تشونغ وزملاؤه عام 2014، حققت GRU نتائج مماثلة لـ LSTM في نمذجة الموسيقى متعددة الأصوات وإشارات الكلام، ولا يتفوق أي منهما باستمرار على الآخر عمليًا عبر المهام.
• RNN بسيطة: تستبدل حالتها كلها في كل خطوة من دون بوابات، لذا تتلاشى تدرجاتها أو تنفجر عبر التسلسلات الطويلة، وتواجه صعوبة في ربط الأحداث التي تفصل بينها فجوات زمنية طويلة.
• Transformer: يعالج جميع مواضع التسلسل بالتوازي باستخدام الانتباه، ما يسرّع تدريبه كثيرًا على GPU ويحسّن التعامل مع السياق بعيد المدى، ولذلك حلّت Transformers محل الشبكات المتكررة في معظم مهام اللغة. تحتفظ GRU بحالة ثابتة الحجم وتكلفة ثابتة لكل خطوة مهما طال التسلسل، ما يجعلها مناسبة للصوت المتدفق وبيانات المستشعرات والأجهزة الصغيرة.

التطبيقات#

• التدفق البصري: تنقّح RAFT، الفائزة بجائزة أفضل ورقة في ECCV 2020، تقدير التدفق عبر تكرارات عديدة باستخدام GRU التفافية؛ وهي GRU استُبدلت فيها عمليات ضرب المصفوفات بعمليات التفاف، بحيث تصبح حالتها خريطة سمات.
• الصيانة التنبؤية والتنبؤ: تقرأ GRU تدفقات بيانات الاهتزاز أو درجة الحرارة أو الطلب، وتتنبأ بالأعطال أو القيم المستقبلية، وغالبًا ما تعمل على عتاد مضمّن حيث يكون لصغر النموذج أهمية.
• الكلام والصوت: تستخدم نماذج الصوت على الأجهزة GRU لأنها تعالج الصوت إطارًا بعد إطار بذاكرة صغيرة وثابتة. وتشغّل أداة RNNoise لكبح الضوضاء طبقات GRU في الزمن الحقيقي على CPU عادية.
• التعرّف على الأفعال: تقرأ GRU تسلسلًا من سمات كل إطار أو نقاطه المفتاحية، وتُخرج تسمية الفعل للمقطع. وتُسند YOLO26 في وضع التتبّع معرّفًا دائمًا لكل شخص عبر الإطارات، ما ينتج تسلسلات الصناديق أو النقاط المفتاحية للوضعية الخاصة بكل شخص، التي تصنّفها GRU من هذا النوع.