Transformer

معمارية Transformer هي معمارية تعلم عميق تعتمد على آلية تُسمى الانتباه الذاتي (self-attention) معالجة بيانات الإدخال المتسلسلة، مثل اللغة الطبيعية أو الميزات البصرية. قُدمت لأول مرة بواسطة باحثي جوجل في الورقة البحثية البارزة Attention Is All You Need، وأحدثت معمارية Transformer ثورة في مجال الذكاء الاصطناعي (AI) من خلال التخلص من قيود المعالجة المتسلسلة للشبكات العصبية الرجعية (RNNs) السابقة. بدلاً من ذلك، تحلل معماريات Transformer تسلسلات البيانات بأكملها في وقت واحد، مما يتيح التوازي الهائل وأوقات تدريب أسرع بشكل ملحوظ على الأجهزة الحديثة مثل وحدات GPU.

كيف تعمل نماذج Transformers#

الابتكار الأساسي لمعمارية Transformer هو آلية الانتباه الذاتي. يتيح ذلك للنموذج تقييم أهمية الأجزاء المختلفة لبيانات الإدخال نسبةً لبعضها البعض. على سبيل المثال، في الجملة، يمكن للنموذج أن يتعلم أن كلمة "bank" تتعلق بشكل أوثق بكلمة "money" مقارنة بكلمة "river" استناداً إلى السياق المحيط.

تتكون هذه البنية بشكل عام من مكونين رئيسيين:

• الشفل (Encoder): يعالج بيانات الإدخال إلى تمثيل عددي غني أو تضمين (embedding).
• Decoder: يستخدم مخرجات الـ encoder لتوليد النتيجة النهائية، مثل جملة مترجمة أو مربع إحاطة (bounding box) متوقع.

في مجال رؤية الكمبيوتر (CV)، تستخدم النماذج عادةً تنوعاً يُسمى محول الرؤية (ViT). بدلاً من معالجة رموز النص، يتم تقسيم الصورة إلى أجزاء ذات حجم ثابت (مثل 16x16 بكسل). يتم تسطيح هذه الأجزاء ومعاملتها كتسلسل، مما يتيح للنموذج التقاط "السياق الشامل" — أي فهم العلاقات بين الأجزاء المتباعدة من الصورة — بشكل أكثر فعالية من الشبكة العصبية التلافيفية (CNN) القياسية.

نماذج Transformers مقابل المفاهيم ذات الصلة#

من المهم التمييز بين بنية Transformer والمصطلحات ذات الصلة:

• آلية الانتباه: هذا هو المفاهيم العامة للتركيز على أجزاء محددة من البيانات. معمارية Transformer هي معمارية محددة مبنية بالكامل حول طبقات الانتباه، في حين أن النماذج الأخرى قد تستخدم الانتباه فقط كإضافة صغيرة.
• نموذج اللغة الكبير (LLM): تشير مصطلحات مثل "GPT" إلى نماذج محددة مدربة على كميات هائلة من النصوص. تستخدم جميع نماذج LLM الحديثة تقريباً معمارية Transformer كمحرك أساسي لها.

تطبيقات العالم الحقيقي#

أدت تعدد استخدامات نماذج Transformers إلى اعتمادها عبر مختلف الصناعات:

1. التصوير الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، تُستخدم معماريات Transformer المهام المعقدة مثل تحليل الصور الطبية. تساعد قدرتها على فهم العلاقات المكانية العالمية في اكتشاف الشذوذات الدقيقة في فحوصات التصوير بالرنين المغناطيسي أو الأشعة المقطعية عالية الدقة والتي قد تفوتها شبكات CNN المرتكزة على الميزات المحلية.

2. الأنظمة المستقلة: بالنسبة للvehicles ذاتية القيادة، يعد فهم مسار المشاة والمركبات الأخرى أمراً بالغ الأهمية. تتفوق معماريات Transformer في فهم الفيديو عن طريق تتبع الكائنات عبر الأطر الزمنية، والتنبؤ بالحركات المستقبلية لضمان ملاحة آمنة.

كشف الكائنات باستخدام Transformers#

على الرغم من أن شبكات CNN هيمنت تقليدياً على اكتشاف الكائنات، إلا أن النماذج القائمة على Transformer مثل محول الاكتشاف في الوقت الفعلي (RT-DETR) برزت كبدائل قوية. يجمع RT-DETR بين سرعة الهياكل الأساسية لـ CNN ودقة رؤوس فك التشفير في Transformer.

ومع ذلك، يمكن أن تكون نماذج Transformer النقية ثقيلة حسابياً. بالنسبة للعديد من تطبيقات الحوسبة الطرفية، توفر النماذج الهجينة المُحسنة للغاية مثل YOLO26 — التي تدمج آليات الانتباه الفعالة مع المعالجة التلافيفية السريعة — توازناً فائقا بين السرعة والدقة. يمكنك إدارة تدريب ونشر هذه النماذج بسهولة عبر منصة Ultralytics، والتي تبسط سير العمل من تعليق مجموعة البيانات إلى تصدير النموذج.

مثال Python: استخدام RT-DETR#

يوضح المثال التالي كيفية إجراء الاستدلال باستخدام نموذج قائم على Transformer داخل حزمة ultralytics. يقوم هذا الكود بتحميل نموذج RT-DETR مُدرب مسبقاً ويكتشف الكائنات في صورة.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

للمزيد من القراءة حول الأسس الرياضية، توفر توثيق PyTorch لطبقات Transformer عمقاً تقنياً، بينما يقدم دليل IBM لـ Transformers منظوراً تجارياً عالي المستوى.