نماذج من تسلسل إلى تسلسل (Sequence-to-Sequence Models)

نماذج Sequence-to-Sequence (Seq2Seq) هي فئة من نماذج التعلم العميق المصممة لتحويل تسلسل الإدخال إلى تسلسل إخراج، حيث يمكن أن تختلف أطوال الإدخال والإخراج. هذه المرونة تجعلها قوية بشكل استثنائي لمجموعة واسعة من المهام في معالجة اللغات الطبيعية (NLP) وما بعدها. تم تقديم الفكرة الأساسية في أوراق بحثية من قبل باحثين في Google و مختبر يوشوا بنجيو، مما أحدث ثورة في مجالات مثل الترجمة الآلية.

آلية عمل نماذج Seq2Seq

تم بناء نماذج Seq2Seq على هيكل encoder-decoder. يسمح هذا الهيكل للنموذج بمعالجة التسلسلات ذات الأطوال المتغيرة بفعالية.

• المشفر: يعالج هذا المكون تسلسل الإدخال بأكمله، مثل جملة باللغة الإنجليزية. يقرأ التسلسل عنصرًا واحدًا في كل مرة (على سبيل المثال، كلمة بكلمة) ويضغط المعلومات في تمثيل رقمي ثابت الطول يسمى متجه السياق أو "متجه الفكر". تقليديًا، يكون المشفر عبارة عن شبكة عصبية متكررة (RNN) أو متغير أكثر تقدمًا مثل ذاكرة طويلة المدى (LSTM)، وهي ماهرة في التقاط المعلومات التسلسلية.

• وحدة فك التشفير: يأخذ هذا المكون متجه السياق من المشفر كمدخل أولي له. مهمته هي إنشاء تسلسل الإخراج عنصرًا واحدًا في كل مرة. على سبيل المثال، في مهمة الترجمة، فإنه سينشئ الجملة المترجمة كلمة بكلمة. يتم إرجاع الإخراج من كل خطوة إلى وحدة فك التشفير في الخطوة التالية، مما يسمح لها بإنشاء تسلسل متماسك. تستمر هذه العملية حتى يتم إنتاج رمز خاص لنهاية التسلسل. الابتكار الرئيسي الذي أدى إلى تحسين أداء Seq2Seq بشكل كبير هو آلية الانتباه، والتي تسمح لوحدة فك التشفير بالنظر إلى أجزاء مختلفة من تسلسل الإدخال الأصلي أثناء إنشاء الإخراج.

تطبيقات نماذج Seq2Seq

إن القدرة على تعيين مدخلات ذات أطوال متغيرة إلى مخرجات ذات أطوال متغيرة تجعل نماذج Seq2Seq متعددة الاستخدامات للغاية.

• الترجمة الآلية: هذا هو التطبيق المثالي. يمكن للنموذج أخذ جملة بلغة ما (مثل "كيف حالك؟") وترجمتها إلى لغة أخرى (مثل "Wie geht es Ihnen؟"). استخدمت خدمات مثل ترجمة جوجل هذه المبادئ بشكل كبير.
• تلخيص النصوص: يمكن لنموذج Seq2Seq قراءة مقال أو مستند طويل (تسلسل الإدخال) وإنشاء ملخص موجز (تسلسل الإخراج). هذا مفيد لتكثيف كميات كبيرة من النص في رؤى قابلة للفهم.
• برامج الدردشة الآلية والذكاء الاصطناعي للمحادثة: يمكن تدريب النماذج لإنشاء استجابة ذات صلة وسياقية (تسلسل الإخراج) لاستعلام المستخدم أو بيانه (تسلسل الإدخال).
• تسمية الصور: على الرغم من أن هذا يتضمن رؤية الكمبيوتر، إلا أن المبدأ متشابه. تعمل شبكة CNN كترميز لمعالجة الصورة وإنشاء متجه سياق، والذي يستخدمه بعد ذلك وحدة فك الترميز لإنشاء تسلسل نصي وصفي. هذا مثال على نموذج متعدد الوسائط.

Seq2Seq مقابل البنى الأخرى

في حين أن نماذج Seq2Seq القائمة على RNNs كانت رائدة، إلا أن المجال قد تطور:

• شبكات RNN القياسية: عادةً ما تقوم بتعيين التسلسلات إلى تسلسلات بنفس الطول نفسه أو تصنيف التسلسلات بأكملها، وتفتقر إلى مرونة هيكل المشفر-المفكك لأطوال الإخراج المتغيرة.
• محوّلات (Transformers): تهيمن الآن على العديد من مهام معالجة اللغة الطبيعية (NLP) التي كانت تعالجها سابقًا نماذج Seq2Seq القائمة على الشبكات العصبية المتكررة (RNN). إنها تستخدم الانتباه الذاتي (self-attention) والترميزات الموضعية بدلاً من التكرار، مما يسمح بموازاة أفضل والتقاط التبعيات طويلة المدى بشكل أكثر فعالية. ومع ذلك، يظل مفهوم المشفر-المفكك الأساسي مركزيًا للعديد من النماذج القائمة على المحوّلات (Transformer). نماذج مثل RT-DETR من Baidu، المدعومة من Ultralytics، تدمج مكونات المحوّلات (Transformer) من أجل اكتشاف الكائنات (object detection).
• الشبكات العصبية التلافيفية (CNNs): تستخدم في المقام الأول للبيانات الشبيهة بالشبكة مثل الصور (على سبيل المثال، في نماذج Ultralytics YOLO للكشف و التجزئة (segmentation))، على الرغم من تكييفها أحيانًا لمهام التسلسل.

في حين أن Seq2Seq يشير غالبًا إلى هيكل المشفر-المفكك المستند إلى الشبكات العصبية المتكررة (RNN)، إلا أن المبدأ العام المتمثل في تعيين تسلسلات الإدخال إلى تسلسلات الإخراج باستخدام تمثيل وسيط يظل أساسيًا للعديد من البنى الحديثة. توفر أدوات مثل PyTorch و TensorFlow لبنات بناء لتنفيذ نماذج التسلسل التقليدية والحديثة. يمكن تبسيط إدارة عملية التدريب باستخدام منصات مثل Ultralytics HUB، مما يبسط خط أنابيب نشر النموذج بأكمله.