Transformer

إن Transformer عبارة عن بنية تعلّم عميق تعتمد على آلية تسمى الانتباه الذاتي (self-attention) لمعالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية أو الميزات البصرية. تم تقديمها في الأصل من قبل باحثي Google في الورقة البحثية البارزة Attention Is All You Need، وقد أحدثت Transformer ثورة في مجال الذكاء الاصطناعي (AI) من خلال التخلص من قيود المعالجة التسلسلية للـ Recurrent Neural Networks (RNNs) السابقة. بدلاً من ذلك، تقوم نماذج Transformer بتحليل تسلسلات كاملة من البيانات في وقت واحد، مما يسمح بتوازي هائل وأوقات تدريب أسرع بشكل ملحوظ على الأجهزة الحديثة مثل GPUs.

Link to this sectionكيف تعمل نماذج Transformers#

الابتكار الجوهري في Transformer هو آلية self-attention. تسمح هذه الآلية للنموذج بوزن أهمية أجزاء مختلفة من بيانات الإدخال بالنسبة لبعضها البعض. على سبيل المثال، في جملة ما، يمكن للنموذج أن يتعلم أن كلمة "bank" ترتبط بـ "money" بشكل أوثق من ارتباطها بـ "river" بناءً على السياق المحيط.

تتكون هذه البنية بشكل عام من مكونين رئيسيين:

• Encoder: يعالج بيانات الإدخال لتحويلها إلى تمثيل رقمي غني أو embedding.
• Decoder: يستخدم مخرجات الـ encoder لتوليد النتيجة النهائية، مثل جملة مترجمة أو مربع إحاطة (bounding box) متوقع.

في مجال computer vision (CV)، تستخدم النماذج عادةً تنوعاً يسمى Vision Transformer (ViT). فبدلاً من معالجة رموز النص، يتم تقسيم الصورة إلى رقع ذات حجم ثابت (مثل 16x16 بكسل). يتم تسطيح هذه الرقع ومعالجتها كتسلسل، مما يمكن النموذج من التقاط "السياق العالمي"—أي فهم العلاقات بين الأجزاء المتباعدة من الصورة—بشكل أكثر فعالية من الـ Convolutional Neural Network (CNN) القياسي.

Link to this sectionنماذج Transformers مقابل المفاهيم ذات الصلة#

من المهم التمييز بين بنية Transformer والمصطلحات ذات الصلة:

• Attention Mechanism: هذا هو المفهوم العام للتركيز على أجزاء محددة من البيانات. إن Transformer عبارة عن بنية محددة مبنية بالكامل حول طبقات الانتباه، في حين قد تستخدم نماذج أخرى الانتباه فقط كإضافة صغيرة.
• Large Language Model (LLM): تشير مصطلحات مثل "GPT" إلى نماذج محددة تم تدريبها على كميات هائلة من النصوص. تستخدم جميع الـ LLMs الحديثة تقريباً بنية Transformer كمحرك أساسي لها.

Link to this sectionتطبيقات العالم الحقيقي#

أدت تعدد استخدامات نماذج Transformers إلى اعتمادها عبر مختلف الصناعات:

1. التصوير الطبي: في مجال AI in Healthcare، تُستخدم نماذج Transformers لمهام معقدة مثل medical image analysis. تساعد قدرتها على فهم العلاقات المكانية العالمية في اكتشاف الشذوذ الدقيق في صور MRI أو CT عالية الدقة والتي قد تفوتها الـ CNNs التي تركز على الميزات المحلية.

2. الأنظمة المستقلة: بالنسبة لـ autonomous vehicles، يعد فهم مسار المشاة والمركبات الأخرى أمراً بالغ الأهمية. تتفوق نماذج Transformers في video understanding من خلال تتبع الكائنات عبر إطارات زمنية، والتنبؤ بالحركات المستقبلية لضمان التنقل الآمن.

Link to this sectionكشف الكائنات باستخدام Transformers#

بينما سيطرت الـ CNNs تقليدياً على كشف الكائنات، ظهرت نماذج تعتمد على Transformer مثل Real-Time Detection Transformer (RT-DETR) كبدائل قوية. يجمع RT-DETR بين سرعة الـ CNN backbones ودقة رؤوس فك تشفير Transformer.

ومع ذلك، يمكن أن تكون نماذج Transformer النقية ثقيلة حسابياً. بالنسبة للعديد من تطبيقات الحافة، توفر النماذج الهجينة المحسنة للغاية مثل YOLO26—التي تدمج آليات الانتباه الفعالة مع المعالجة الالتفافية السريعة—توازناً متفوقاً بين السرعة والدقة. يمكنك إدارة تدريب ونشر هذه النماذج بسهولة عبر Ultralytics Platform، والتي تبسط سير العمل من تعليق البيانات إلى تصدير النموذج.

Link to this sectionمثال Python: استخدام RT-DETR#

يوضح المثال التالي كيفية إجراء الاستدلال (inference) باستخدام نموذج يعتمد على Transformer داخل حزمة ultralytics. يقوم هذا الكود بتحميل نموذج RT-DETR مدرب مسبقاً ويكتشف الكائنات في صورة.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

لمزيد من القراءة حول الأسس الرياضية، توفر PyTorch documentation on Transformer layers عمقاً تقنياً، بينما يقدم IBM's guide to Transformers منظوراً تجارياً رفيع المستوى.