اكتشف كيف تُحدِث بنيات Transformer ثورة في الذكاء الاصطناعي، وتحقق اختراقات في مجال البرمجة اللغوية العصبية والرؤية الحاسوبية ومهام التعلّم الآلي المتقدمة.
تمثّل المحولات بنية محورية للشبكات العصبية التي طورت بشكل كبير مجالات الذكاء الاصطناعي والتعلم الآلي، خاصة في معالجة اللغات الطبيعية وبشكل متزايد في مجال الرؤية الحاسوبية. تم تقديمها في ورقة بحثية مؤثرةبعنوان "الانتباه هو كل ما تحتاجه"، وهي تعالج البيانات المتسلسلة، مثل النصوص أو السلاسل الزمنية، باستخدام آلية تسمى الانتباه الذاتي. يتيح ذلك للنموذج أن يوازن ديناميكيًا بين أهمية الأجزاء المختلفة من المدخلات، متغلبًا بذلك على القيود الرئيسية للبنى القديمة مثل الشبكات العصبية المتكررة (RNNs).
الابتكار الأساسي في المحولات هو آلية الانتباه الذاتي. على عكس شبكات RNNs، التي تعالج المدخلات بالتتابع (عنصر تلو الآخر) ويمكن أن تعاني مع التسلسلات الطويلة بسبب مشاكل مثل تلاشي التدرجات، يمكن أن تأخذ المحولات جميع أجزاء تسلسل المدخلات في وقت واحد. تعمل هذه القدرة على المعالجة المتوازية على تسريع التدريب بشكل كبير على الأجهزة الحديثة مثل وحدات معالجة الرسومات من شركات مثل NVIDIA.
بينما تركز الشبكات العصبية التلافيفية النموذجية (CNNs) على السمات المحلية من خلال مرشحات ذات حجم ثابت تقوم بإجراء التلافيف، فإن آلية الانتباه تسمح للمتحولات بالتقاط التبعيات بعيدة المدى والعلاقات السياقية عبر المدخلات بأكملها. هذه القدرة على فهم السياق العالمي أمر بالغ الأهمية للمهام التي تنطوي على علاقات معقدة، سواء في النصوص أو بقع الصور المستخدمة في محولات الرؤية (ViTs).
أصبحت المحولات أساسًا للعديد من نماذج الذكاء الاصطناعي الحديثة نظرًا لفعاليتها في التقاط السياق والتعامل مع التسلسلات الطويلة. وقد مكّنت طبيعتها القابلة للتوازي من تدريب نماذج ضخمة بمليارات المعلمات، مثل GPT-3 و GPT-4 التي طورتها OpenAI، مما أدى إلى تحقيق اختراقات في الذكاء الاصطناعي التوليدي. وقد جعلت قابلية التوسع والأداء هذه من المحولات مركزية للتقدم في مختلف مهام الذكاء الاصطناعي، مما أدى إلى دفع عجلة الابتكار في مجال البحث والصناعة. العديد من نماذج المحولات الشائعة، مثل BERT، متاحة بسهولة من خلال منصات مثل Hugging Face ويتم تنفيذها باستخدام أطر عمل مثل PyTorch و TensorFlowوغالبًا ما يتم دمجها في منصات MLOPS مثل Ultralytics HUB.
المحولات متعددة الاستخدامات للغاية وتشغل العديد من تطبيقات الذكاء الاصطناعي:
من المفيد تمييز المحولات عن غيرها من بنيات الشبكات العصبية الشائعة الأخرى: