التجزئة الشاملة

التقسيم البانوبتيكي هو مهمة شاملة لرؤية الكمبيوتر (CV) توحد شكلين متميزين من أشكال تحليل الصور: التقسيم الدلالي وتقسيم الحالات. في حين أن الطرق التقليدية تعالج هذه المهام بشكل منفصل — إما بتصنيف مناطق الخلفية مثل "السماء" أو "العشب" بشكل عام، أو الكشف عن كائنات محددة مثل "السيارة" أو "الشخص" — فإن التقسيم البانوبتيكي يجمعها في إطار عمل واحد متماسك. يخصص هذا النهج قيمة فريدة لكل بكسل في الصورة، مما يوفر فهمًا كاملاً للمشهد يميز بين الكائنات القابلة للعد (يشار إليها باسم "الأشياء") ومناطق الخلفية غير المتماثلة (يشار إليها باسم "الأشياء"). من خلال ضمان حساب كل بكسل وتصنيفه، تحاكي هذه التقنية الإدراك البصري البشري بشكل أقرب من طرق الكشف المعزولة.

المفهوم الأساسي: الأشياء مقابل المتعلقات

لفهم التجزئة البانوبتيكية بشكل كامل، من المفيد فهم ثنائية المعلومات البصرية التي تعالجها. تقسم المهمة العالم البصري إلى فئتين أساسيتين:

• فئات العناصر: تمثل هذه الفئات مناطق غير متماثلة ذات نسيج أو مادة متشابهة لا يمكن عدها. ومن الأمثلة على ذلك الطرق والمياه والعشب والسماء والجدران. في التحليل البانوبتيكي، يتم تجميع جميع وحدات البكسل التي تنتمي إلى "طريق" في منطقة دلالية واحدة لأن التمييز بين " segment الطريق segment " و" segment الطريق segment " غير ذي صلة بشكل عام.
• فئات الأشياء: هذه أشياء قابلة للعد ذات هندسة وحدود محددة. ومن الأمثلة عليها المشاة والمركبات والحيوانات والأدوات. يجب أن تحدد النماذج البانوبتيكية كل "شيء" ككيان فريد، بحيث يتم التعرف على شخصين يقفان جنبًا إلى جنب كمثيلين منفصلين (على سبيل المثال، "الشخص أ" و"الشخص ب") بدلاً من ككتلة مدمجة.

هذا التمييز أمر بالغ الأهمية بالنسبة لأنظمة الذكاء الاصطناعي المتقدمة (AI) ، حيث يتيح لها التنقل في البيئات مع التفاعل في الوقت نفسه مع كائنات محددة.

كيف تعمل الهياكل المعمارية البانوبتيكية

عادةً ما تستخدم بنى التقسيم البانوبتيكية الحديثة عمودًا فقريًا قويًا للتعلم العميق (DL) ، مثل الشبكة العصبية التلافيفية (CNN) أو محول الرؤية (ViT)، لاستخراج تمثيلات غنية للميزات من الصورة. تنقسم الشبكة عمومًا إلى فرعين أو "رأسين":

1. الرأس الدلالي: يتنبأ هذا الفرع بعلامة فئة لكل بكسل، مما ينتج خريطة كثيفة لـ "العناصر" الموجودة في المشهد.
2. عنوان المثال: في الوقت نفسه، يستخدم هذا الفرع تقنيات مشابهة لـ الكشف عن الكائنات لتحديد موقع "الأشياء" وإنشاء أقنعة لها.

ثم تقوم وحدة دمج أو خطوة معالجة لاحقة بحل التضارب بين هذه المخرجات — على سبيل المثال، تحديد ما إذا كان البكسل ينتمي إلى مثيل "شخص" أو إلى جدار "الخلفية" خلفه — لإنتاج خريطة تقسيم بانوبتيكية نهائية غير متداخلة.

تطبيقات واقعية

الطبيعة الشاملة للتجزئة البانوبتيكية تجعلها لا غنى عنها للصناعات التي تعتبر فيها السلامة والسياق أمراً بالغ الأهمية.

• المركبات ذاتية القيادة: تعتمد السيارات ذاتية القيادة على الإدراك البانوبتيكي للتنقل بأمان. يحدد المكون الدلالي الأسطح القابلة للقيادة (الطرق) والحدود (الأرصفة)، بينما يتتبع المكون المثالي العوائق الديناميكية مثل المشاة والمركبات الأخرى. تساعد هذه الرؤية الموحدة خوارزميات تخطيط المركبة على اتخاذ قرارات أكثر أمانًا في سيناريوهات إدارة المرورالمعقدة. الطاقة:
• تحليل الصور الطبية: في علم الأمراض الرقمي، يتطلب تحليل عينات الأنسجة في كثير من الأحيان تقسيم بنية الأنسجة العامة (المواد) مع العد والقياس في الوقت نفسه لأنواع معينة من الخلايا أو الأورام (الأشياء). يساعد هذا التحليل التفصيلي الأطباء في تحديد كمية المرض وتشخيصه بدقة.
• الروبوتات: الروبوتات الخدمية التي تعمل في بيئات غير منظمة، مثل المنازل أو المستودعات، تحتاج إلى التمييز بين الأرضية التي يمكنها السير عليها (الخلفية) والأشياء التي تحتاج إلى التعامل معها أو تجنبها (الحالات).

تنفيذ التجزئة باستخدام Ultralytics

على الرغم من أن التدريب البانوبتيكي الكامل قد يكون معقدًا، يمكن للمطورين تحقيق دقة عالية في تقسيم الحالات— وهو عنصر حاسم في اللغز البانوبتيكي — باستخدام Ultralytics . يوفر هذا النموذج المتطور أداءً في الوقت الفعلي وهو مُحسّن للاستخدام المتطور.

يوضح Python التالي Python كيفية تحميل نموذج تجزئة مدرب مسبقًا وتشغيل الاستدلال لعزل كائنات مميزة:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

بالنسبة للفرق التي تسعى إلى إدارة بيانات التدريب الخاصة بها وأتمتة عملية التعليق التوضيحي، توفر Ultralytics مجموعة من الأدوات لإدارة مجموعات البيانات وتدريب النماذج. يعد التعليق التوضيحي عالي الجودة للبيانات أمرًا بالغ الأهمية لمهام التجزئة، حيث تتطلب النماذج علامات دقيقة على مستوى البكسل للتعلم بفعالية.

التمييز بين المصطلحات ذات الصلة

فهم الفروق الدقيقة بين أنواع التجزئة أمر بالغ الأهمية لاختيار النموذج المناسب لمشروعك:

• التجزئة الدلالية: تركز فقط على تصنيف وحدات البكسل إلى فئات. وهي تجيب على سؤال "ما هي فئة هذه الوحدة البكسل؟" (على سبيل المثال، شجرة، سماء) ولكنها لا تستطيع فصل الكائنات الفردية من نفس الفئة. إذا كانت هناك سيارتان متداخلتان، فإنهما تظهران ككتلة واحدة كبيرة "سيارة".
• تجزئة المثيل: تركز فقط على اكتشاف وإخفاء الكائنات القابلة للعد. تجيب على سؤال "ما هذا الكائن؟" ولكنها عادةً تتجاهل سياق الخلفية تمامًا.
• التجزئة البانوبتيكية: تجمع بين الاثنين. تجيب على سؤال "ما هو هذا البكسل؟" و"إلى أي مثيل كائن ينتمي؟" بالنسبة للصورة بأكملها، مما يضمن عدم ترك أي بكسل دون تصنيف.

لمزيد من الاستكشاف لتنسيقات مجموعات البيانات المستخدمة في هذه المهام، يمكنك مراجعة وثائقCOCO وهي معيار قياسي لقياس أداء التجزئة.