المصلح

Reformer هو نوع فعال من نماذج المحولات التي طورها باحثون في Google AI. وقد تم تصميمه للتعامل مع تسلسلات طويلة للغاية من البيانات، وهو ما يمثل تحديًا كبيرًا لبنى المحولات القياسية نظرًا لارتفاع استخدام الذاكرة والمتطلبات الحسابية. من خلال إدخال تقنيات جديدة، يمكن لـ Reformer معالجة أطوال سياقات تصل إلى مليون كلمة على مسرع واحد، مما يجعل من الممكن العمل مع كتب كاملة أو صور عالية الدقة. تُعد هذه الكفاءة أساسية لتطوير قدرات نماذج اللغات الكبيرة (LLMs) والمهام الأخرى القائمة على التسلسل في الذكاء الاصطناعي (AI).

كيف يحقق المصلح الكفاءة

تأتي كفاءة المُصلح من ابتكارين رئيسيين يعالجان الاختناقات في آلية الانتباه القياسية وتخصيص الذاكرة:

• التجزئة الحساسة للموقع (LSH) الانتباه: تقوم المحولات التقليدية بحساب درجة الانتباه لكل زوج من الكلمات في التسلسل، وهو ما يصبح مكلفًا من الناحية الحسابية مع زيادة طول التسلسل. يستبدل المُصلِح هذا الانتباه الكامل بتقريب باستخدام التجزئة الحساسة للمكان (LSH). تقوم هذه التقنية بتجميع الكلمات المتشابهة في مجموعات وتحسب الانتباه فقط داخل هذه المجموعات الأصغر، مما يقلل بشكل كبير من العبء الحسابي. تعمل هذه التقنية على مبدأ أن الكلمات المتقاربة في المعنى (أو الفضاء المتجه) من المرجح أن يتم تجزئتها في نفس الدلو.
• طبقات متبقية عكسية: لحفظ الذاكرة، تقوم الشبكات العصبية القياسية بتخزين التنشيطات من كل طبقة لاستخدامها أثناء الترحيل العكسي. يستهلك هذا كمية كبيرة من الذاكرة، خاصة في النماذج العميقة. يستخدم المصلح طبقات قابلة للعكس، مما يسمح بإعادة حساب تنشيط أي طبقة من تنشيطات الطبقة التالية أثناء التدريب. وهذا يلغي الحاجة إلى تخزين التنشيطات في الذاكرة، مما يقلل بشكل كبير من بصمة الذاكرة ويتيح تدريب نماذج أكبر بكثير. تم تفصيل هذا المفهوم في ورقة بحث المصلح الأصلية.

التطبيقات

إن قدرة المُصلح على معالجة التسلسلات الطويلة تجعله مناسبًا لمختلف المهام في مجال التعلُّم الآلي (ML)، خاصةً في مجال معالجة اللغات الطبيعية (NLP) وما بعدها:

• تحليل المستندات الطويلة: تلخيص أو الإجابة عن أسئلة حول كتب كاملة أو مقالات بحثية مطولة أو مستندات قانونية يمتد سياقها لآلاف أو ملايين الكلمات. على سبيل المثال، يمكن استخدام نموذج المصلح لإنشاء ملخص نصي موجز لتقرير تقني متعدد الفصول.
• علم الجينوم: معالجة تسلسلات الحمض النووي أو البروتين الطويلة للتحليل والتعرف على الأنماط. يمكن أن تتكون بيانات الجينوم من مليارات الأزواج القاعدية، مما يجعل المُصلح بنية مثالية لتحديد الأنماط أو الطفرات.
• معالجة الوسائط الطويلة: تحليل الملفات الصوتية الطويلة للتعرّف على الكلام، أو توليد الموسيقى بناءً على التراكيب الممتدة، أو تحليل الفيديو على فترات طويلة. مثال على ذلك تدوين الاجتماعات أو المحاضرات التي تستغرق ساعات طويلة بكفاءة.
• توليد الصور: تتعامل بعض الأساليب مع الصور كتسلسلات من وحدات البكسل، خاصةً للصور عالية الدقة. من المحتمل أن يتعامل المُصلح مع هذه التسلسلات الطويلة جدًا لمهام مثل توليد النص إلى صورة.
• تحليل السلاسل الزمنية الممتدة: نمذجة بيانات السلاسل الزمنية الطويلة جدًا، مثل التنبؤ باتجاهات سوق الأسهم على مدى عقود أو تحليل البيانات المناخية طويلة الأجل.

في حين أن نماذج مثل Ultralytics YOLO تركز على الكشف الفعال عن الأجسام في الصور، وغالباً ما تستخدم الشبكات العصبية التلافيفية (CNNs) أو البنى الهجينة مثل RT-DETR المبنية بأطر عمل مثل PyTorch، فإن مبادئ الكفاءة الحسابية وكفاءة الذاكرة التي تم استكشافها في Reformer ذات صلة في مجال التعلم العميق. يساعد فهم هذه التطورات في دفع عجلة الابتكار نحو نماذج ذكاء اصطناعي أكثر قدرة وسهولة في الوصول إليها. تهدف منصات مثل Ultralytics HUB إلى تبسيط تطوير الذكاء الاصطناعي ونشر النماذج.

المقارنة مع النماذج الأخرى طويلة المتسلسلة

المصلح هو أحد النماذج العديدة المصممة للتغلب على قيود المحولات القياسية. ومن المهم تمييزه عن غيره:

• المُشكِّل الطويل: مثل المصلح، تم تصميم Longformer للتسلسلات الطويلة. ومع ذلك، فإنه يستخدم نمط انتباه مختلف يجمع بين نافذة منزلقة (انتباه محلي) مع عدد قليل من رموز الانتباه العالمي. وهذا يجعله فعالاً للغاية بالنسبة للمستندات التي يكون فيها السياق المحلي أكثر أهمية، ولكنه أقل مرونة من نهج Reformer القائم على التجزئة لالتقاط العلاقات البعيدة.
• المحول-XL: يُدخل هذا النموذج التكرار في بنية المحوّل، مما يسمح بتدفق المعلومات من مقطع نصي إلى آخر. يعتبر Transformer-XL فعالًا بشكل خاص في المهام الانحدارية التلقائية مثل نمذجة اللغة ولكنه ليس مصممًا لمعالجة مدخلات واحدة طويلة للغاية في مسار واحد مثل Reformer أو Longformer.
• المحول القياسي: يستخدم نموذج Transformer الأصلي الانتباه الذاتي الكامل، مما يجعله فعالًا للغاية ولكنه غير عملي للتسلسلات الأطول من بضعة آلاف من الرموز بسبب تعقيده التربيعي. المساهمة الرئيسية للمُصلح هي جعل الأداء الشبيه بالمحول ممكنًا لمدخلات أطول بكثير. يمكنك العثور على المزيد من مقارنات النماذج في وثائقنا.