Transformer

إن Transformer هو بنية للتعلّم العميق تعتمد على آلية تُسمّى الانتباه الذاتي لمعالجة بيانات الإدخال التسلسلية، مثل اللغة الطبيعية أو السمات المرئية. وقد قدّمه باحثون في Google لأول مرة في الورقة البحثية الرائدة Attention Is All You Need، وأحدث Transformer ثورة في مجال الذكاء الاصطناعي (AI) من خلال التخلص من قيود المعالجة التسلسلية التي اتسمت بها الشبكات العصبية المتكررة (RNNs) السابقة. وبدلًا من ذلك، تحلل Transformers تسلسلات البيانات بأكملها في الوقت نفسه، مما يتيح إجراء موازاة هائلة وتسريع أوقات التدريب بدرجة كبيرة على الأجهزة الحديثة مثل GPUs.

كيفية عمل Transformers#

يتمثل الابتكار الأساسي في Transformer في آلية الانتباه الذاتي. وتتيح هذه الآلية للنموذج تحديد أهمية الأجزاء المختلفة من بيانات الإدخال مقارنةً بعضها ببعض. فعلى سبيل المثال، يمكن للنموذج في جملة ما أن يتعلم أن كلمة "bank" ترتبط ارتباطًا أوثق بكلمة "money" من كلمة "river" استنادًا إلى السياق المحيط.

تتكون هذه البنية عمومًا من مكوّنين رئيسيين:

• المشفّر: يعالج بيانات الإدخال في تمثيل عددي غني أو تضمين.
• فك التشفير: يستخدم مخرجات المشفّر لتوليد النتيجة النهائية، مثل جملة مترجمة أو صندوق إحاطة متوقَّع.

في مجال الرؤية الحاسوبية (CV)، تستخدم النماذج عادةً تنويعًا يُسمّى محوّل الرؤية (ViT). وبدلًا من معالجة رموز النص، تُقسَّم الصورة إلى رقع ثابتة الحجم (مثل 16x16 بكسل). ثم تُسطَّح هذه الرقع وتُعامل كتسلسل، مما يمكّن النموذج من التقاط "السياق الشامل"—أي فهم العلاقات بين الأجزاء المتباعدة من الصورة—بفاعلية أكبر من الشبكة العصبية الالتفافية (CNN) التقليدية.

Transformers في مقابل المفاهيم ذات الصلة#

من المهم التمييز بين بنية Transformer والمصطلحات ذات الصلة:

• آلية الانتباه: هذا هو المفهوم العام للتركيز على أجزاء محددة من البيانات. أما Transformer فهو بنية محددة مبنية بالكامل حول طبقات الانتباه، في حين قد تستخدم النماذج الأخرى الانتباه بوصفه إضافة صغيرة فقط.
• النموذج اللغوي الكبير (LLM): تشير مصطلحات مثل "GPT" إلى نماذج محددة دُرِّبت على كميات هائلة من النصوص. وتستخدم جميع النماذج اللغوية الكبيرة الحديثة تقريبًا بنية Transformer بوصفها محركها الأساسي.

التطبيقات الواقعية#

أدى تعدد استخدامات Transformers إلى اعتمادها في مختلف الصناعات:

1. التصوير الطبي: في الذكاء الاصطناعي في الرعاية الصحية، تُستخدم Transformers في مهام معقدة مثل تحليل الصور الطبية. وتساعد قدرتها على فهم العلاقات المكانية الشاملة في اكتشاف الحالات الشاذة الدقيقة في صور التصوير بالرنين المغناطيسي أو التصوير المقطعي المحوسب عالية الدقة، التي قد تفوّتُها CNNs المركزة على السمات المحلية.

2. الأنظمة المستقلة: بالنسبة إلى المركبات ذاتية القيادة، يُعد فهم مسار المشاة والمركبات الأخرى أمرًا بالغ الأهمية. وتتفوّق Transformers في فهم الفيديو من خلال تتبع الكائنات عبر الإطارات الزمنية والتنبؤ بالحركات المستقبلية لضمان التنقل الآمن.

اكتشاف الكائنات باستخدام Transformers#

رغم أن CNNs هيمنت تقليديًا على اكتشاف الكائنات، ظهرت نماذج قائمة على Transformer مثل محوّل الكشف في الوقت الفعلي (RT-DETR) بوصفها بدائل قوية. ويجمع RT-DETR بين سرعة هياكل CNN الأساسية ودقة رؤوس فك تشفير Transformer.

ومع ذلك، قد تكون نماذج Transformer الخالصة كثيفة حسابيًا. وبالنسبة إلى العديد من تطبيقات الحافة، توفر النماذج الهجينة المحسّنة بدرجة كبيرة مثل YOLO26—التي تدمج آليات انتباه فعّالة مع معالجة التفافية سريعة—توازنًا أفضل بين السرعة والدقة. ويمكنك إدارة تدريب هذه النماذج ونشرها بسهولة عبر منصة Ultralytics، التي تعمل على تبسيط سير العمل بدءًا من وسم مجموعة البيانات ووصولًا إلى تصدير النموذج.

مثال بلغة Python: استخدام RT-DETR#

يوضح المثال التالي كيفية إجراء الاستدلال باستخدام نموذج قائم على Transformer ضمن الحزمة ultralytics. يحمّل هذا الرمز نموذج RT-DETR مدرَّبًا مسبقًا ويكتشف الكائنات في صورة.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

لمزيد من القراءة حول الأسس الرياضية، توفر وثائق PyTorch حول طبقات Transformer تعمقًا تقنيًا، بينما يقدم دليل IBM حول Transformers منظورًا تجاريًا عالي المستوى.