Interactive Segmentation

التجزئة التفاعلية هي نهج تعاوني للغاية لـ computer vision حيث يقدم المستخدم البشري مدخلات مستمرة أو أحادية اللقطة - مثل النقرات، أو BBox، أو مطالبات النص - لتوجيه نموذج ذكاء اصطناعي في عزل كائنات محددة داخل الصورة. على عكس الطرق الآلية بالكامل، تتيح هذه التقنية التي تعتمد على الإنسان في الحلقة للمستخدمين تحديد ما يحتاج إلى تجزئة بدقة، مما يجعلها ذات قيمة خاصة عند التعامل مع البيانات المرئية الغامضة، أو الكائنات المتداخلة، أو الفئات غير المكتشفة. على مدى السنوات القليلة الماضية، أدى إدخال النماذج التأسيسية إلى تحسين سرعة ودقة هذه العملية بشكل كبير، مما حوّلها إلى أداة حيوية لـ data annotation والتصوير دقيق الضبط.

كيف تعمل التجزئة التفاعلية#

في جوهره، يعتمد سير العمل على promptable concept segmentation، حيث يفسر النموذج إرشادات المستخدم لإنشاء قناع مثالي على مستوى البكسل. قد يضع المستخدم نقرة "إيجابية" على الكائن الأمامي الذي يريد تحديده ونقرة "سلبية" على مناطق الخلفية التي يريد استبعادها. النماذج المتقدمة مثل Segment Anything Model (SAM) وخلفائها، Meta SAM 3، تأخذ هذا إلى أبعد من ذلك من خلال قبول diverse gesture types [1]، وBBox، وحتى الأوصاف النصية لتثبيت البحث المرئي. يحسب النموذج الحدود المثلى بناءً على هذه المطالبات، ويمكن للمستخدم تحسين القناع بشكل تكراري باستخدام نقرات إضافية حتى يتم تحقيق الدقة المطلوبة.

تطبيقات العالم الحقيقي#

تُحدث التجزئة التفاعلية تحولاً في سير العمل عبر العديد من الصناعات من خلال مزج الخبرة البشرية بكفاءة AI.

• التصوير الطبي: في AI in healthcare، يستخدم الأطباء وأخصائيو الأشعة الأدوات التفاعلية لعزل الأورام، أو الآفات، أو الأعضاء المحددة في صور الرنين المغناطيسي والأشعة المقطعية. يُظهر البحث في spatial modeling for medical images [2] أن النقرات التفاعلية تتيح للمهنيين الطبيين تصحيح تنبؤات الذكاء الاصطناعي بسرعة، مما يضمن الدقة الصارمة المطلوبة لتشخيص المريض.
• رسم الخرائط الجيوشاتية والفضائية: يستخدم المخططون الحضريون وعلماء البيئة النماذج التفاعلية لتسريع GIS feature extraction [3]. بدلاً من تتبع السواحل المعقدة، أو الحدود الزراعية، أو البنية التحتية الجديدة يدوياً، يمكن للمحللين وضع بضع نقرات استراتيجية لإنشاء مضلعات جغرافية دقيقة فورياً.
• اكتشاف العيوب الصناعية: بالنسبة لـ AI in manufacturing، يمكن لمهندسي مراقبة الجودة استخدام المطالبات التفاعلية لتسليط الضوء على العيوب المجهرية على خطوط الإنتاج، مما يؤدي إلى تكييف النظام ديناميكياً مع أنواع جديدة من العيوب دون إعادة تدريب النموذج بأكمله.

التجزئة التفاعلية مقابل تجزئة المثيل#

على الرغم من أن كلا المفهومين يتضمنان فصل الكائنات على مستوى البكسل، إلا أنهما يخدمان أغراضاً تشغيلية مختلفة. تعد instance segmentation عادةً عملية آلية بالكامل حيث يقوم نموذج، مثل Ultralytics YOLO26، باكتشاف وتحديد الفئات المحددة مسبقاً (على سبيل المثال، "سيارة"، "شخص"، "كلب") دون تدخل المستخدم. يمكنك معرفة المزيد حول كيفية عمل ذلك في guide to instance segmentation الخاص بنا.

على العكس من ذلك، لا تعتمد التجزئة التفاعلية بشكل صارم على الفئات المحددة مسبقاً. إنها مستقلة عن الفئة، مما يعني أنها تقوم بتجزئة أي شيء يشير إليه المستخدم، مما يجعلها ملائمة تماماً لخطوط أنابيب active learning حيث تحتاج الكائنات الجديدة إلى التعليق عليها بسرعة وإضافتها إلى مجموعات بيانات مخصصة باستخدام أدوات مثل Ultralytics Platform.

مثال باستخدام Ultralytics#

يمكنك بسهولة تنفيذ التجزئة التفاعلية في مشاريعك الخاصة باستخدام PyTorch وحزمة بايثون ultralytics. في هذا المثال، نستخدم FastSAM لتجزئة كائن معين عن طريق توفير موجه BBox.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

يوضح هذا المقطع كيف يوجه موجه مكاني بسيط النموذج مباشرة لعزل منطقة الاتمام، مما يبسط مهام image segmentation المعقدة بأقل قدر من التعليمات البرمجية.