Visual Prompting

التوجيه المرئي هو أسلوب لتحديد ما ينبغي لنموذج الرؤية الحاسوبية أن يقسّمه أو يكتشفه عبر تعليم الصورة نفسها بنقرة أو صندوق أو خربشة أو قناع أو مثال، بدلًا من وصف الهدف بالكلمات. وتحول النماذج التأسيسية القابلة للتوجيه، مثل نموذج تقسيم أي شيء (SAM) من Meta، كل علامة إلى تضمين وتتنبأ بقناع للجسم المحدد من دون أي إعادة تدريب. ويشير التوجيه المرئي إلى مثيل محدد أو يعرض مثالًا لما ينبغي العثور عليه، ما يفيد عندما يصعب تسمية الهدف في مطالبة نصية، مثل عيب معين أو جزء غير مألوف. أما ضبط المطالبات المرئية، رغم اشتراكه في التسمية، فهو أسلوب من ضبط المطالبات يتعلم رموز إدخال إضافية أثناء الضبط الدقيق، من دون أن يعلّم أحد الصورة.

آلية عمل التوجيه المرئي#

يقسم SAM، الذي أصدرته Meta عام 2023 مع مجموعة بيانات SA-1B التي تضم 1.1 مليار قناع على 11 مليون صورة، العمل إلى ثلاثة أجزاء. يعمل مشفّر صور كبير، وهو محوّل للرؤية، مرةً واحدة لكل صورة؛ ويحوّل مشفّر مطالبات خفيف النقاط والصناديق إلى تضمينات موضعية؛ ثم يجمع مفكّك الأقنعة بين الاثنين للتنبؤ بقناع في نحو 50 مللي ثانية داخل متصفح ويب، بحيث تحدّث كل نقرة جديدة النتيجة تفاعليًا. وقد تحتمل النقرة الواحدة أكثر من معنى، إذ يمكن أن تشير إلى قميص أو إلى الشخص الذي يرتديه، لذا يستطيع SAM إرجاع ثلاثة أقنعة مرشحة مع درجة جودة لكل منها. ويمدّد SAM 2 من Meta (2024) المطالبات إلى الفيديو، متابعًا الجسم الذي نُقر عليه عبر الإطارات التالية باستخدام ذاكرة للإطارات السابقة. ويعمل SAM 2.1 ضمن حزمة Ultralytics، حيث تمثل النقرة نقطة تحمل التسمية 1 للمقدمة أو 0 للخلفية:

from ultralytics import SAM

# ⁨تحميل النموذج الأساسي SAM 2.1 من Meta⁩
model = SAM("sam2.1_b.pt")

# ⁨نقرة واحدة على الرجل ذي المعطف الداكن لتحديد المقدمة (التسمية 1)⁩
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# ⁨حفظ الصورة مع القناع الذي تنبأ به النموذج للجسم الذي نُقر عليه⁩
result.save(filename="sam_point_prompt.jpg")

تُظهر الصورة المحفوظة القناع الذي يتنبأ به SAM 2.1 انطلاقًا من تلك النقرة الواحدة. وتكرر عملية التقسيم التفاعلي هذه الخطوة حتى يصبح القناع صحيحًا، ويعمل وضع الوسم الذكي في منصة Ultralytics بهذه الطريقة: تتحول كل نقرة إلى مطالبة نقطة لـ SAM؛ وتضيف النقرة خارج القناع الحالي تلك المنطقة، بينما تزيلها النقرة داخله، ثم تُحفظ النتيجة مضلعًا أو صندوقًا أو صندوقًا موجّهًا بحسب مهمة مجموعة البيانات.

أنواع المطالبات المرئية#

• النقاط والصناديق: تحدد نقرات المقدمة والخلفية المناطق أو تستثنيها، ويكون الصندوق التقريبي حول الجسم أقل التباسًا من النقرة، كما يتيح أيضًا استخدام صناديق الكاشف لتوجيه أداة التقسيم تلقائيًا.
• الأقنعة والخربشات: يحسّن قناع تقريبي من خطوة سابقة، أو خطوط مرسومة فوق الجسم، تنبؤًا تخطئ فيه النقرات وحدها.
• صناديق الأمثلة: يطلب وضع صندوق حول مثال واحد من النموذج العثور على كل جسم يشبهه؛ لذا يكفي صندوق مثال واحد لعدّ جميع البراغي من نوع واحد. وتقبل كواشف الفئات المفتوحة مثل T-Rex2 وYOLOE، وكذلك SAM 3 من Meta (2025)، هذه الموجّهات القائمة على الأمثلة.
• أمثلة ضمن السياق: تحدد صورة مثال مقترنة بمخرجها المطلوب، مثل قناع أو خريطة حواف، المهمة نفسها، ويُكمل النموذج المخرج لصورة جديدة بالقياس على المثال.
• علامات لنماذج الرؤية واللغة: يرسم أسلوب المطالبات القائم على مجموعة العلامات علامات مرقّمة فوق مناطق الصورة، ليتمكن النموذج من الإشارة إلى «المنطقة 3» في إجابته، ما يحسّن إسناده المرئي.

تطبيقات عملية#

• وسم البيانات: تحل بضع نقرات لكل جسم محل تتبع المضلع نقطةً تلو الأخرى، ما يخفض تكلفة إنشاء مجموعات بيانات تقسيم المثيلات.
• التصوير الطبي: طُوّع MedSAM من SAM ليتعامل مع 1,570,263 زوجًا من الصور والأقنعة الطبية ضمن 10 وسائط تصوير، بحيث يعيد صندوق يحدده الطبيب حول عضو أو آفة مخططها الخارجي.
• الروبوتات: ينقر المشغّل على جسم في عرض كاميرا الروبوت، ويمنح القناع الناتج الروبوت البكسلات الدقيقة للجسم اللازمة لتخطيط الإمساك به.