Visual Prompting

التحفيز البصري هو تقنية ناشئة في رؤية الحاسوب حيث يقدم المستخدمون إشارات مكانية أو بصرية—مثل النقاط، أو مربعات الإحاطة، أو الخربشات—لتوجيه تركيز نموذج الذكاء الاصطناعي نحو كائنات أو مناطق محددة داخل الصورة. على عكس هندسة التوجيه التقليدية التي تعتمد بشكل أساسي على الوصف النصي، يتيح التحفيز البصري تفاعلاً أكثر دقة وبديهية مع أنظمة الذكاء الاصطناعي (AI). تستفيد هذه الطريقة من إمكانيات النماذج الأساسية الحديثة لتنفيذ مهام مثل التجزئة والاكتشاف دون الحاجة إلى إعادة تدريب مكثفة أو مجموعات بيانات موسومة كبيرة. من خلال "الإشارة" بفعالية إلى ما يهم، يمكن للمستخدمين تكييف النماذج عامة الأغراض مع مهام جديدة بشكل فوري، مما يردم الفجوة بين النية البشرية والإدراك الآلي.

آليات التوجيه المرئي#

في جوهره، يعمل التحفيز البصري عن طريق حقن المعلومات المكانية مباشرة في مسار المعالجة الخاص بالنموذج. عندما ينقر المستخدم على كائن أو يرسم مربعاً، يتم تحويل هذه المدخلات إلى تضمينات تعتمد على الإحداثيات والتي يدمجها الشبكة العصبية مع ميزات الصورة. تُعتبر هذه العملية مركزية للهنى التفاعلية مثل نموذج التجزئة لأي شيء (SAM)، حيث يتنبأ النموذج بالأقنعة بناءً على الموجهات الهندسية.

تسمح مرونة التوجيه المرئي بأنواع تفاعل متنوعة:

• موجهات النقاط: ينقر المستخدم على بكسل محدد للإشارة إلى الكائن محل الاهتمام. ثم يقوم النموذج بتوسيع هذا التحديد ليشمل حدود الكائن بالكامل.
• موجهات المربعات: رسم مربع إحاطة يوفر تحديداً تقريبياً للموقع، مما يشير للنموذج لتقسيم أو تصنيف كل ما تحتويه تلك المنطقة.
• موجهات الخطوط العشوائية: يمكن للخطوط المرسومة يدوياً فوق كائن أن تساعد في توضيح المشاهد المعقدة حيث تتداخل الكائنات أو تتشابه في قوامها.

تسلط البحوث الحديثة المعروضة في CVPR 2024 الضوء على كيف يقلل التحفيز البصري بشكل كبير من الوقت اللازم لوسم البيانات، حيث يمكن للموسمين البشريين تصحيح تنبؤات النموذج في الوقت الفعلي بنقرات بسيطة بدلاً من تتبع المضلعات يدوياً.

التوجيه المرئي مقابل التوجيه النصي#

بينما تهدف كلتا التقنيتين إلى توجيه سلوك النموذج، من المهم التمييز بين التحفيز البصري والأساليب المستندة إلى النص. يعتمد توليد النص إلى صورة أو الاكتشاف الصفري على معالجة اللغات الطبيعية (NLP) لتفسير الأوصاف الدلالية (مثل "ابحث عن السيارة الحمراء"). ومع ذلك، يمكن أن تكون اللغة غامضة أو غير كافية لوصف المواقع المكانية الدقيقة أو الأشكال المجردة.

يعالج التحفيز البصري هذا الغموض عبر ترسيخ التعليمات في فضاء البكسل نفسه. على سبيل المثال، في تحليل الصور الطبية، من الأكثر دقة بكثير أن ينقر اختصاصي الأشعة على عقدة مشبوهة بدلاً من محاولة وصف إحداثياتها الدقيقة وشكلها غير المنتظم عبر النص. غالباً ما تجمع أقوى سير العمل بين النهجين—باستخدام النص للتصفية الدلالية والموجهات البصرية للدقة المكانية—وهو مفهوم يُعرف باسم التعلم متعدد الوسائط.

تطبيقات العالم الحقيقي#

أدت قدرة التوجيه المرئي على التكيف إلى تبنيه السريع عبر صناعات متنوعة:

• التشخيص الطبي التفاعلي: يستخدم الأطباء أدوات التحفيز البصري لعزل الأورام أو الأعضاء في مسح التصوير بالرنين المغناطيسي. بمجرد النقر على منطقة الاهتمام، يمكنهم إنشاء قياسات حجمية ثلاثية الأبعاد فورياً، مما يساعد في اكتشاف الأورام بدقة وتخطيط الجراحة.
• تحرير الصور الذكي: في برامج المستهلكين مثل Adobe Photoshop أو تطبيقات الجوال، يدعم التحفيز البصري أدوات "التحديد السحري". يمكن للمستخدمين النقر على شخص أو كائن لإزالة الخلفية أو تطبيق مرشحات مستهدفة، مستخدمين تقنيات تجزئة المثيلات الأساسية دون الحاجة إلى مهارات إخفاء يدوية.
• المعالجة الروبوتية: في الذكاء الاصطناعي في الروبوتات، يمكن توجيه الروبوتات لالتقاط عناصر محددة من خلال واجهة بصرية. ينقر المشغل على كائن في بث كاميرا الروبوت، مما يوفر موجهًا بصريًا يترجمه الروبوت إلى إحداثيات قبض، مما يسهل الأتمتة ذات العنصر البشري في الحلقة في المستودعات.

التنفيذ باستخدام Ultralytics#

يدعم نظام Ultralytics سير عمل التوجيه المرئي، لا سيما من خلال نماذج مثل FastSAM و SAM. تسمح هذه النماذج للمطورين بتمرير إحداثيات النقاط أو المربعات برمجياً لاسترداد أقنعة التجزئة.

يوضح المثال التالي كيفية استخدام حزمة ultralytics لتطبيق موجه نقطي على صورة، موجهاً النموذج لتجزئة الكائن الموجود في إحداثيات محددة.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

تعزيز مرونة النموذج#

يمثل التحفيز البصري تحولاً نحو رؤية حاسوبية "قابلة للتوجيه"، حيث لم تعد النماذج "صناديق سوداء" ثابتة بل أدوات تفاعلية. تُعد هذه القدرة أساسية لحلقات التعلم النشط، حيث تتحسن النماذج بسرعة من خلال دمج ملاحظات المستخدم.

للمطورين الذين يتطلعون إلى دمج هذه القدرات في بيئة الإنتاج، توفر منصة Ultralytics أدوات لإدارة مجموعات البيانات ونشر النماذج القادرة على التعامل مع المدخلات الديناميكية. مع تقدم الأبحاث، نتوقع أن نرى تكاملاً أوثق بين الموجهات البصرية والنماذج اللغوية الكبيرة (LLMs)، مما يتيح أنظمة قادرة على الاستدلال حول المدخلات البصرية بنفس الطلاقة التي تتعامل بها حالياً مع النصوص.