التجزئة الشاملة

تمثل التجزئة البانوبتيكية توحيد مهمتين متميزتين في الرؤية الحاسوبية: التجزئة الدلالية وتجزئة المثيلات. بينما يقوم التقسيم الدلالي بتعيين تسمية فئة لكل بكسل في الصورة (مثل "السماء" أو "الطريق" أو "العشب") دون التمييز بين الكائنات الفردية، يركز التقسيم المثالي فقط على تحديد وفصل كائنات محددة قابلة للعد (مثل "شخص" أو "سيارة" أو "كلب") مع تجاهل الخلفية. يعمل التقسيم البانوبتيكي على سد هذه الفجوة من خلال توفير تحليل شامل للمشهد حيث يتم تصنيف كل بكسل. فهو يحدد في الوقت نفسه سياق الخلفية (الذي يُطلق عليه غالبًا "الأشياء") ويحدد الكائنات الفردية في المقدمة (التي يُشار إليها باسم "الأشياء")، مما يوفر فهمًا شاملاً للبيانات المرئية التي تحاكي الإدراك البشري.

المفاهيم والميكانيكيات الأساسية

لفهم كيفية عمل التجزئة البانوبتيكية، من المفيد النظر إلى فئات المعلومات البصرية التي تقوم بمعالجتها. تقسم المهمة العالم البصري إلى نوعين رئيسيين من الكيانات:

• الأشياء: هي مناطق غير متماثلة ذات نسيج أو مادة متشابهة ولا تحتوي على حالات مميزة . ومن الأمثلة على ذلك الفئات الدلالية مثل السماء والماء والطريق والنباتات. في التقسيم البانوبتيكي، يتم تجميع جميع وحدات البكسل التي تنتمي إلى "السماء" معًا دون فصل.
• الأشياء: هي كائنات قابلة للعد ذات أشكال وحدود محددة. ومن أمثلتها السيارات والمشاة والحيوانات. يجب أن تحدد النماذج البانوبتيكية كل "شيء" ككيان فريد، بحيث تضمن التعرف على شخصين يقفان بجانب بعضهما البعض على أنهما "الشخص أ" و"الشخص ب"، بدلاً من كتلة واحدة من بكسلات "الشخص".

تشكل البنى الحديثة، مثل Vision Transformer (ViT) أو الشبكات العصبية التلافيفية المتقدمة (CNN)، العمود الفقري لهذه الأنظمة. فهي تستخرج خرائط ميزات غنية من الصورة المدخلة. ثم يقوم رأس بانوبتيك بمعالجة هذه الميزات لإخراج خريطة تقسيم حيث يكون لكل بكسل علامة دلالية (الفئة التي ينتمي إليها) ومعرف مثيل (الكائن المحدد الذي ينتمي إليه).

التمييز بين أنواع التجزئة

يعتمد اختيار النهج الصحيح بشكل كبير على المتطلبات المحددة لمشروع الرؤية الحاسوبية (CV) الخاص بك. مشروع الرؤية الحاسوبية (CV) الخاص بك.

• التقسيم الدلالي: الأفضل عندما تحتاج فقط إلى معرفة المساحة الإجمالية التي تغطيها فئة معينة. على سبيل المثال، يستخدم هذا الأسلوب في تحليل الأقمار الصناعية الذي يقيس إجمالي المساحة المغطاة بالغابات مقابل التوسع الحضري.
• تجزئة الحالات: مثالية عندما يكون العد وتتبع الكائنات الفردية هو الأولوية، والخلفية غير ذات صلة. هذا شائع في سيناريوهات تتبع الكائنات حيث تحتاج إلى متابعة سيارات معينة عبر حركة المرور.
• التجزئة البانوبتيكية: مطلوبة عندما يكون التفاعل بين الكائنات وبيئتها حاسمًا. وهي تجيب على سؤالين هما "ما هو هذا البكسل؟" و"إلى أي كائن ينتمي هذا البكسل؟" بالنسبة للصورة بأكملها.

تطبيقات واقعية

إن الطبيعة الشاملة للتجزئة البانوبتيكية تجعلها ذات قيمة لا تقدر بثمن بالنسبة لأنظمة الذكاء الاصطناعي المعقدة التي تتنقل أو تتفاعل مع العالم المادي. .

• المركبات ذاتية القيادة: يجب أن تفهم السيارات ذاتية القيادة المشهد بأكمله لتعمل بأمان. فهي تحتاج إلى تحديد الأسطح القابلة للقيادة (مثل الطرق والممرات) مع تتبع العوائق الديناميكية في الوقت نفسه (مثل المشاة والمركبات الأخرى). يوفر التقسيم البانوبتيكي رؤية موحدة تساعد خوارزميات تخطيط المركبة على اتخاذ قرارات أكثر أمانًا.
• تحليل الصور الطبية: في علم الأمراض الرقمي والأشعة، الدقة أمر بالغ الأهمية. قد يتطلب تحليل عينة من الأنسجة تقسيم البنية العامة للأنسجة (الخلفية) مع تحديد أنواع الخلايا أو الحالات الشاذة (الحالات) بشكل فردي وعدها. يساعد هذا التحليل التفصيلي الأطباء في الكشف عن الأورام وتحديد حجم المرض.
• الروبوتات: يجب أن تميز الروبوتات الخدمية التي تعمل في المنازل أو المستودعات بين الأرضية التي يمكنها التنقل عليها (الأشياء) والعوائق أو العناصر التي تحتاج إلى التعامل معها (الأشياء).

تنفيذ التجزئة باستخدام Ultralytics

في حين أن خطوط التدريب البانوبتيكية الكاملة يمكن أن تكون مكثفة من الناحية الحسابية، فإن تحقيق تجزئة عالية الجودة للمثيلات — وهو عنصر حاسم في الفهم البانوبتيكي — أمر سهل مع Ultralytics . يوفر هذا النموذج المتطور قدرات استدلال في الوقت الفعلي، مما يسمح للمطورين بإنشاء أقنعة دقيقة للأشياء الفردية بكفاءة.

يوضح Python التالي Python كيفية تحميل نموذج تقسيم مُدرب مسبقًا ومعالجة صورة لعزل كائنات متميزة:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

للحصول على سير عمل أكثر تقدمًا، مثل التدريب على البيانات المخصصة مثل COCO ، يمكنك استخدام Ultralytics لإدارة مجموعات البيانات وتدريب النماذج. إن فهم الفروق الدقيقة في تعليق البيانات أمر بالغ الأهمية هنا، حيث تتطلب مجموعات البيانات البانوبتيكية وضع علامات دقيقة على كل بكسل في الصور التدريبية. باستخدام أدوات مثل OpenCV بالاقتران مع هذه النماذج يتيح معالجة وتحليلًا قويين لخرائط التقسيم الناتجة.