Reformer

Reformer هو نوع فعال من نماذج Transformer تم تطويره بواسطة باحثين في Google AI. تم تصميمه للتعامل مع تسلسلات البيانات الطويلة للغاية، وهو تحد كبير لهياكل Transformer القياسية بسبب استخدامها العالي للذاكرة ومتطلباتها الحسابية. من خلال تقديم تقنيات جديدة، يمكن لـ Reformer معالجة أطوال سياق تصل إلى مليون كلمة على مسرع واحد، مما يجعل من الممكن العمل مع الكتب بأكملها أو الصور عالية الدقة. هذه الكفاءة أساسية لتعزيز قدرات نماذج اللغة الكبيرة (LLMs) ومهام التسلسل الأخرى في الذكاء الاصطناعي (AI).

كيف تحقق Reformer الكفاءة؟

تأتي كفاءة Reformer من ابتكارين رئيسيين يعالجان الاختناقات في آلية الانتباه القياسية وتخصيص الذاكرة:

• انتباه تجزئة حساسة للموقع (LSH): تحسب المحولات التقليدية درجة انتباه لكل زوج من الكلمات في التسلسل، مما يصبح مكلفًا من الناحية الحسابية مع نمو طول التسلسل. يستبدل Reformer هذا الانتباه الكامل بتقدير باستخدام تجزئة حساسة للموقع (LSH). تجمع هذه التقنية الكلمات المتشابهة في مجموعات وتحسب الانتباه فقط داخل هذه المجموعات الأصغر، مما يقلل بشكل كبير من الحمل الحسابي. وهي تعمل على مبدأ أن الكلمات القريبة في المعنى (أو الفضاء المتجهي) من المحتمل أن يتم تجزئتها في نفس المجموعة.
• طبقات متبقية قابلة للعكس: لتوفير الذاكرة، تقوم الشبكات العصبية القياسية بتخزين التنشيطات من كل طبقة لاستخدامها أثناء الانتشار الخلفي. يستهلك هذا كمية كبيرة من الذاكرة، خاصة في النماذج العميقة. يستخدم Reformer طبقات قابلة للعكس، والتي تسمح بإعادة حساب تنشيطات أي طبقة من تنشيطات الطبقة اللاحقة أثناء التدريب. هذا يلغي الحاجة إلى تخزين التنشيطات في الذاكرة، مما يقلل بشكل كبير من حجم الذاكرة ويتيح تدريب نماذج أكبر بكثير. تم تفصيل هذا المفهوم في ورقة بحث Reformer الأصلية.

التطبيقات

إن قدرة Reformer على معالجة التسلسلات الطويلة تجعله مناسبًا لمهام مختلفة في التعلم الآلي (ML)، لا سيما في معالجة اللغة الطبيعية (NLP) وما بعدها:

• تحليل المستندات الطويلة: تلخيص أو الإجابة عن أسئلة حول الكتب بأكملها، أو المقالات البحثية المطولة، أو المستندات القانونية حيث يمتد السياق لآلاف أو ملايين الكلمات. على سبيل المثال، يمكن استخدام نموذج Reformer لإنشاء ملخص نصي موجز لتقرير فني متعدد الفصول.
• علم الجينوم: معالجة تسلسلات الحمض النووي أو البروتين الطويلة للتحليل والتعرف على الأنماط. يمكن أن تتكون البيانات الجينومية من مليارات الأزواج القاعدية، مما يجعل Reformer بنية مثالية لتحديد الأنماط أو الطفرات.
• معالجة الوسائط طويلة الشكل: تحليل ملفات الصوت الطويلة من أجل التعرف على الكلام، أو إنشاء الموسيقى بناءً على مؤلفات موسيقية مطولة، أو تحليل الفيديو على مدى فترات طويلة. مثال على ذلك هو تفريغ اجتماعات أو محاضرات لساعات بكفاءة.
• توليد الصور: تتعامل بعض الأساليب مع الصور كسلاسل من البكسل، خاصةً للصور عالية الدقة. يمكن لـ Reformer التعامل مع هذه التسلسلات الطويلة جدًا لمهام مثل توليد النص إلى صورة.
• تحليل السلاسل الزمنية الممتدة: نمذجة بيانات السلاسل الزمنية الطويلة جدًا، مثل التنبؤ باتجاهات سوق الأوراق المالية على مدى عقود أو تحليل بيانات المناخ طويلة الأجل.

في حين أن نماذج مثل Ultralytics YOLO تركز على اكتشاف الأجسام بكفاءة في الصور، غالبًا باستخدام الشبكات العصبية التلافيفية (CNNs) أو الهياكل الهجينة مثل RT-DETR المبنية باستخدام أطر عمل مثل PyTorch، فإن مبادئ الكفاءة الحسابية وكفاءة الذاكرة التي تم استكشافها في Reformer ذات صلة عبر مجال التعلم العميق. يساعد فهم هذه التطورات في دفع الابتكار نحو نماذج ذكاء اصطناعي أكثر قدرة وإمكانية الوصول. تهدف منصات مثل Ultralytics HUB إلى تبسيط تطوير الذكاء الاصطناعي ونشر النماذج.

مقارنة مع نماذج التسلسل الطويل الأخرى

Reformer هو أحد النماذج العديدة المصممة للتغلب على قيود Transformers القياسية. من المهم تمييزه عن الآخرين:

• Longformer: مثل Reformer، تم تصميم Longformer للتسلسلات الطويلة. ومع ذلك، فإنه يستخدم نمط انتباه مختلف يجمع بين نافذة منزلقة (انتباه محلي) مع عدد قليل من رموز الانتباه العام. وهذا يجعله فعالاً للغاية بالنسبة للمستندات التي يكون فيها السياق المحلي هو الأكثر أهمية، ولكنه أقل مرونة من نهج Reformer القائم على التجزئة لالتقاط العلاقات البعيدة.
• Transformer-XL: يقدم هذا النموذج التكرار في بنية Transformer، مما يسمح بتدفق المعلومات من جزء من النص إلى آخر. Transformer-XL فعال بشكل خاص لمهام الانحدار التلقائي مثل نمذجة اللغة ولكنه غير مصمم لمعالجة إدخال واحد طويل للغاية في تمريرة واحدة مثل Reformer أو Longformer.
• محول قياسي: يستخدم نموذج المحول الأصلي الانتباه الذاتي الكامل، مما يجعله فعالاً للغاية ولكنه غير عملي للتسلسلات الأطول من بضعة آلاف من الرموز المميزة بسبب تعقيده التربيعي. تتمثل المساهمة الرئيسية لـ Reformer في جعل أداء يشبه المحول ممكنًا للمدخلات الأطول بكثير. يمكنك العثور على المزيد من مقارنات النماذج في وثائقنا.