التجزئة التفاعلية

التجزئة التفاعلية هي نهج تعاوني للغاية في مجال الرؤية الحاسوبية ، حيث يقدم المستخدم البشري مدخلات مستمرة أو لمرة واحدة — مثل النقرات، أو المربعات المحيطة، أو المطالبات النصية — لتوجيه نموذج الذكاء الاصطناعي في عزل كائنات محددة داخل الصورة. على عكس الطرق المؤتمتة بالكامل، تسمح هذه التقنية التي تشمل تدخل الإنسان للمستخدمين بتحديد ما يجب تجزئته بالضبط، مما يجعلها ذات قيمة خاصة عند التعامل مع البيانات المرئية الغامضة، أو الكائنات المتداخلة، أو الفئات غير المرئية. على مدى السنوات القليلة الماضية، أدى إدخال النماذج الأساسية إلى تحسين سرعة ودقة هذه العملية بشكل كبير، مما جعلها أداة حيوية لتعليق البيانات والتصوير الدقيق.

كيف تعمل عملية التجزئة التفاعلية

يعتمد سير العمل في جوهره على تقسيم المفاهيم القابل للتوجيه، حيث يفسر النموذج توجيهات المستخدم لإنشاء قناع دقيق للغاية. يمكن للمستخدم النقر "الإيجابي" على الكائن الموجود في المقدمة الذي يرغب في تحديده، والنقر "السلبي" على مناطق الخلفية التي يرغب في استبعادها. تتجاوز النماذج المتقدمة مثل نموذج Segment Anything Model (SAM) وخلفائه، Meta SAM هذه المرحلة من خلال قبول أنواع متنوعة من الإيماءات [1]، والمربعات المحيطة، وحتى الأوصاف النصية لتأسيس البحث البصري. يحسب النموذج الحدود المثلى بناءً على هذه المطالبات، ويمكن للمستخدم تحسين القناع بشكل متكرر بنقرات إضافية حتى يتم تحقيق الدقة المطلوبة.

تطبيقات واقعية

تُحدث عملية التجزئة التفاعلية تحولاً جذرياً في سير العمل في العديد من القطاعات من خلال الجمع بين الخبرة البشرية وكفاءة الذكاء الاصطناعي.

• التصوير الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، يستخدم الأطباء وأخصائيو الأشعة أدوات تفاعلية لتحديد الأورام أو الآفات أو أعضاء معينة في صور الرنين المغناطيسي والأشعة المقطعية. وتُظهر الأبحاث في مجال النمذجة المكانية للصور الطبية [2] أن النقرات التفاعلية تتيح للمهنيين الطبيين تصحيح تنبؤات الذكاء الاصطناعي بسرعة، مما يضمن الدقة الصارمة اللازمة لتشخيص حالة المريض.
• رسم الخرائط الجغرافية المكانية والأقمار الصناعية: يستخدم مخططو المدن وعلماء البيئة نماذج تفاعلية لتسريع عملية استخراج ميزات نظم المعلومات الجغرافية [3]. وبدلاً من رسم الخطوط الساحلية المعقدة أو الحدود الزراعية أو البنية التحتية الجديدة يدويًّا، يمكن للمحللين القيام ببضع نقرات استراتيجية لإنشاء مضلعات جغرافية دقيقة على الفور.
• الكشف عن العيوب الصناعية: فيما يتعلق بالذكاء الاصطناعي في مجال التصنيع، يمكن لمهندسي مراقبة الجودة استخدام تلميحات تفاعلية لتسليط الضوء على العيوب المجهرية في خطوط الإنتاج، مع تكييف النظام ديناميكيًا مع أنواع جديدة من العيوب دون الحاجة إلى إعادة تدريب النموذج بأكمله.

التجزئة التفاعلية مقابل تجزئة الحالات

على الرغم من أن كلا المفهومين ينطويان على فصل الكائنات على مستوى البكسل، إلا أنهما يخدمان أغراضًا تشغيلية مختلفة. تعد عملية تجزئة الكائنات عادةً عملية آلية بالكامل، حيث يقوم نموذج، مثل Ultralytics ، بكشف وتحديد فئات محددة مسبقًا (مثل "سيارة" و"شخص" و"كلب") دون تدخل من المستخدم. يمكنك معرفة المزيد عن كيفية عمل ذلك من خلال دليلنا الخاص بتجزئة الكائنات.

على العكس من ذلك، لا تعتمد عملية التجزئة التفاعلية بشكل صارم على الفئات المحددة مسبقًا. فهي لا ترتبط بأي فئة معينة، بمعنى أنها تقوم بتجزئة أي شيء يشير إليه المستخدم، مما يجعلها خيارًا مثاليًا لمسارات التعلم النشط حيث تحتاج الكائنات الجديدة إلى التعليق عليها بسرعة وإضافتها إلى مجموعات البيانات المخصصة باستخدام أدوات مثل Ultralytics .

مثال على استخدام Ultralytics

يمكنك بسهولة تطبيق التجزئة التفاعلية في مشاريعك الخاصة باستخدام PyTorch و ultralytics Python . في هذا المثال، نستخدم FastSAM segment معين عن طريق تقديم موجه مربع الحدود.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

يوضح هذا المقتطف كيف أن موجهًا مكانيًا بسيطًا يوجه النموذج مباشرةً لعزل المنطقة المستهدفة، مما يسهل مهام تقسيم الصور المعقدة باستخدام أقل قدر ممكن من التعليمات البرمجية.