Deformable Attention

يُعد الانتباه القابل للتشكيل (Deformable Attention) آلية انتباه متقدمة مصممة لتحسين كيفية معالجة الشبكات العصبية للبيانات المكانية، لا سيما في مهام الرؤية الحاسوبية (CV). تقوم وحدات الانتباه التقليدية بتقييم التفاعلات بين جميع النقاط الممكنة في الصورة، مما يؤدي إلى عبء حسابي هائل عند التعامل مع المدخلات ذات الدقة العالية. يعمل الانتباه القابل للتشكيل على حل هذه المشكلة من خلال التركيز فقط على مجموعة صغيرة وديناميكية من نقاط أخذ العينات الرئيسية حول بكسل مرجعي. ومن خلال السماح للشبكة بمعرفة المكان الذي يجب النظر إليه بالضبط بدلاً من مسح الشبكة بأكملها بدقة، فإنه يقلل بشكل كبير من استخدام الذاكرة ويسرع التدريب مع الحفاظ على قدرات تعلم عميق قوية.

Link to this sectionالتمييز بين أنماط الانتباه#

يتطلب فهم كيفية ملاءمة هذه التقنية للبنى الحديثة تمييزها عن المفاهيم ذات الصلة. فبينما يحسب الانتباه القياسي تعيينًا عالميًا كثيفًا لجميع البكسلات، يعتمد الانتباه القابل للتشكيل على آليات الانتباه المتناثر لأخذ عينات انتقائية من مناطق الاهتمام. علاوة على ذلك، فهو يختلف عن Flash Attention. يُعد Flash Attention تحسينًا على مستوى الأجهزة يسرع الانتباه الدقيق القياسي عن طريق تقليل عمليات القراءة/الكتابة في ذاكرة GPU. في المقابل، يغير الانتباه القابل للتشكيل العملية الرياضية جذريًا عن طريق تعديل السمات المرئية التي يهتم بها النموذج.

يتم استكشاف هذه المفاهيم بنشاط في أحدث أبحاث Google DeepMind وتطويرات الرؤية في OpenAI، بالإضافة إلى تنفيذها أصليًا ضمن نظام PyTorch البيئي وبنى TensorFlow. ومع ذلك، قد تعاني النماذج القائمة على الانتباه فقط أحيانًا من تعقيدات في النشر. بالنسبة للمشاريع التي تتطلب استنتاجًا عالي السرعة دون عبء طبقات Transformer المعقدة، يظل Ultralytics YOLO26 المعيار الموصى به لـ اكتشاف الكائنات على الحافة (Edge).

Link to this sectionتطبيقات العالم الحقيقي#

لقد مكنت الطبيعة المتناثرة والفعالة لهذا المفهوم من تحقيق اختراقات كبيرة عبر الصناعات التي تتطلب تحليلًا لحظيًا للصور الكثيفة.

• المركبات ذاتية القيادة وأنظمة القيادة: تعتمد السيارات ذاتية القيادة على كاميرات عالية الدقة للتنقل في بيئات معقدة. يسمح الانتباه القابل للتشكيل للأنظمة الموجودة على متن السيارة بعزل السمات المهمة بسرعة - مثل المشاة البعيدين أو إشارات المرور المحجوبة جزئيًا - دون إهدار طاقة الحوسبة في تحليل السماء الفارغة. يتم نشر رؤى حول هذه الأنظمة بشكل متكرر في أبحاث الرؤية الحاسوبية من IEEE ومكتبة ACM الرقمية.
• تحليل الصور الطبية والتشخيص: يستخدم أخصائيو علم الأمراض التصوير التشخيصي عالي الدقة للكشف عن التشوهات الخلوية. من خلال استخدام أخذ العينات المكانية الذكي، يمكن لنماذج الرؤية تحديد التشوهات المجهرية في مسوحات ذات دقة جيجابكسل دون تقليل دقة الصورة وفقدان البيانات التشخيصية المهمة. غالبًا ما يتردد صدى منهجيات مماثلة تعتمد على الانتباه في نهج Anthropic تجاه سلامة ودقة الذكاء الاصطناعي.
• أنظمة المراقبة الذكية: تعالج كاميرات الأمن الحديثة تدفقات فيديو بدقة متعددة الميجابكسل. تساعد آليات الانتباه في عزل الأشياء المتحركة أو الأمتعة المتروكة بسرعة في المشاهد المزدحمة، مما يقلل من الإنذارات الكاذبة أثناء العمل على أجهزة الحافة المحدودة.

Link to this sectionمثال برمجي#

يمكنك تجربة النماذج التي تستخدم آليات الانتباه هذه بسلاسة، مثل RT-DETR (محول الكشف اللحظي)، باستخدام حزمة ultralytics. يوضح المثال التالي كيفية تحميل نموذج وإجراء الاستنتاج على صورة عالية الدقة.

from ultralytics import RTDETR

# Load a pre-trained RT-DETR model which utilizes specialized attention mechanisms
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect and locate objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the bounding box coordinates for the detected objects
for box in results[0].boxes:
    print(f"Object found at coordinates: {box.xyxy[0].tolist()}")

لتبسيط سير عمل تعلم الآلة الخاص بك، توفر منصة Ultralytics أدوات بديهية لـ التدريب والنشر القائم على السحابة. فهي تبسط خط الإنتاج بأكمله—بدءًا من تعليق البيانات التوضيحي وصولاً إلى تصدير النماذج المحسنة للغاية—مما يضمن قدرة المطورين على التركيز على بناء الحلول بدلاً من إدارة البنية التحتية المعقدة.