Interactive Segmentation

ينتج التقسيم التفاعلي قناعًا دقيقًا على مستوى البكسل لكائن انطلاقًا من تلميحات قليلة يقدمها شخص، مثل النقرات أو صندوق إحاطة أو خطوط مرسومة يدويًا، وينقّح القناع مع إضافة الشخص تصحيحات. تحدد النقرة الإيجابية نقطةً تنتمي إلى الكائن، وتحدد النقرة السلبية نقطةً لا تنتمي إليه، بحيث لا يحتاج المستخدم بعد كل جولة إلا إلى الإشارة إلى أكبر خطأ متبقٍ. وهذا النهج لا يعتمد على الفئات: إذ يقسّم النموذج أي شيء يشير إليه المستخدم، بما في ذلك الكائنات التي لم يرها أثناء التدريب، ما يجعله أداة أساسية في تعليق البيانات وتحرير الصور وتحديد البنى في المسوح الطبية. وهو شكل من التفاعل البشري ضمن حلقة العمل في تقسيم الصور.

آلية عمل حلقة النقر#

يتلقى النموذج الصورة مع جميع النقرات التي أُجريت حتى تلك اللحظة، كما تتلقى نماذج كثيرة القناع السابق أيضًا، ثم يتنبأ بقناع جديد. وتتكرر الحلقة حتى يصبح القناع جيدًا بما يكفي:

تحاكي المعايير هذا المستخدم: تنتقل كل نقرة جديدة إلى مركز أكبر منطقة خطأ، وتكون النتيجة عدد النقرات اللازمة للوصول إلى تقاطع على اتحاد بنسبة 85% أو 90% مقارنةً بالحقيقة المرجعية، ويُبلّغ عنها باسم NoC@85 وNoC@90 على مجموعات بيانات مثل GrabCut وBerkeley وDAVIS.

تشغّل حزمة Ultralytics نماذج SAM من Meta باستخدام مطالبات النقاط، حيث تشير التسمية 1 إلى نقرة إيجابية و0 إلى نقرة سلبية:

from ultralytics import SAM

# Meta's SAM 2.1 base model, run through the Ultralytics package
model = SAM("sam2.1_b.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Round 1: a single positive click on the pedestrian's dark coat
results = model(image, points=[[[250, 620]]], labels=[[1]])
print(f"1 click: {int(results[0].masks.data.sum())} mask pixels")

# Round 2: add a positive click on the pedestrian's jeans and a negative click on the bus
results = model(image, points=[[[250, 620], [290, 760], [420, 560]]], labels=[[1, 1, 0]])
print(f"3 clicks: {int(results[0].masks.data.sum())} mask pixels")
results[0].save(filename="interactive_mask.jpg")

يطبع 32,598 بكسلًا للقناع بعد نقرة واحدة و33,120 بعد ثلاث نقرات؛ لذا تختار النقرة الواحدة على المعطف المشاة بأكملهم تقريبًا، بينما تحسّن النقرات الإضافية القناع بنحو 500 بكسل. وتنفذ Ultralytics Platform الدورة نفسها في محرر التوسيم: ففي الوضع الذكي، تضيف النقرة خارج قناع SAM الحالي تلك المنطقة، وتطرح النقرة داخله المنطقة، ثم يُحفظ القناع المكتمل كمضلع أو صندوق محيط أو صندوق موجّه وفق مهمة مجموعة البيانات.

من القطوع البيانية إلى النماذج القابلة للتوجيه بالمطالبات#

كانت الأدوات المبكرة تحسّن الحدود مباشرةً. كانت أداة Intelligent Scissors (1995) تحاذي المخطط المرسوم مع الحواف الواضحة، أما GrabCut، التي نشرتها Microsoft Research عام 2004 وأُدرجت في OpenCV، فتجزّئ الجسم داخل صندوق يرسمه المستخدم عبر ملاءمة نماذج الألوان للمقدمة والخلفية تكراريًا وحلّ قطع بياني. ومنذ عام 2016، تشفّر أساليب التعلم العميق النقرات كقنوات إدخال إضافية إلى جانب الصورة، وتتعلم القناع باستخدام شبكة عصبية التفافية، كما تتلقى النماذج اللاحقة القناع السابق مدخلًا لتنقيحه.

قسّم نموذج تقسيم كل شيء (SAM) من Meta، الذي أُطلق عام 2023، العمل بحيث يصبح التفاعل شبه فوري: إذ تشفّر محوّلة الرؤية الضخمة الصورة مرة واحدة، ثم يحوّل مرمّز مطالبات خفيف ومفكّك ترميز الأقنعة كل مجموعة نقرات جديدة إلى قناع في نحو 50 مللي ثانية. ودُرّب SAM أيضًا باستخدام حلقة تفاعلية خاصة به: أثناء إنشاء مجموعة بيانات SA-1B، نقر المعلّقون لتقسيم الأجسام باستخدام إصدارات متعاقبة من النموذج، فانخفض متوسط زمن إنتاج القناع من 34 إلى 14 ثانية. يوسّع SAM 2 استخدام النقرات إلى الفيديو، إذ ينشر القناع عبر الإطارات، بينما يضيف SAM 3 تقسيم المفاهيم القابل للتوجيه بالمطالبات، للعثور على كل مثيل يطابق عبارة نصية قصيرة.

التقسيم التفاعلي مقابل التقسيم التلقائي#

تجزّئ نماذج تقسيم المثيلات تلقائيًا مجموعة ثابتة من الفئات التي دُرّبت عليها، دون أي إدخال بشري، ما يلائم خطوط الإنتاج التي يتعين عليها معالجة كل إطار. يضحّي التقسيم التفاعلي بهذا التشغيل التلقائي مقابل المرونة، وغالبًا ما تُنشأ به أقنعة التدريب لهذه النماذج، وكثيرًا ما يكون ذلك ضمن حلقة التعلم النشط التي ترسل الصور الأقل يقينًا لدى النموذج إلى المعلّقين. ويمثل التوجيه البصري بالمطالبات الفكرة الأوسع لتوجيه نموذج الرؤية باستخدام نقاط أو صناديق أو صور أمثلة، أما التقسيم التفاعلي فهو شكله التكراري الذي ينتج أقنعة.

تطبيقات عملية#

• وَسْم مجموعة البيانات: يرسم المعلّقون حدود الأجسام ببضع نقرات بدلًا من تتبّع مئات رؤوس المضلع، واحتاج المعلّقون بمساعدة SAM إلى 14 ثانية لكل قناع، أي أسرع بمقدار 6.5 مرات من وسم الأقنعة يدويًا في COCO.
• التصوير الطبي: يحدّد اختصاصيو الأشعة الأورام والأعضاء في صور الأشعة المقطعية والرنين المغناطيسي باستخدام الصناديق والنقرات التصحيحية، وطُوّع MedSAM للاستخدام الطبي عبر ضبط SAM دقيقًا على 1,570,263 زوجًا من الصور والأقنعة الطبية تغطي 10 طرائق تصوير.