فهم تجزئة المفاهيم القابلة للتوجيه

يتقدم الذكاء الاصطناعي البصري بسرعة ويُستخدم على نطاق واسع لتحليل الصور ومقاطع الفيديو في بيئات العالم الحقيقي. على سبيل المثال، يتم دمج تطبيقات تتراوح من أنظمة إدارة المرور إلى تحليلات التجزئة مع نماذج الرؤية الحاسوبية.

في العديد من هذه التطبيقات، يتم تدريب نماذج الرؤية، مثل نماذج اكتشاف الكائنات، على التعرف على مجموعة محددة مسبقاً من الكائنات، بما في ذلك المركبات والأشخاص والمعدات. أثناء التدريب، يتم عرض العديد من الأمثلة المصنفة لهذه النماذج حتى تتمكن من تعلم كيفية ظهور كل كائن وكيفية تمييزه عن غيره في المشهد.

بالنسبة لمهام التجزئة، تذهب النماذج خطوة أخرى إلى الأمام من خلال إنتاج مخططات دقيقة على مستوى البكسل حول هذه الكائنات. وهذا يمكّن الأنظمة من فهم مكان وجود كل كائن بالضبط في الصورة.

يعمل هذا بشكل جيد طالما أن النظام يحتاج فقط إلى التعرف على ما تم تدريبه عليه. ومع ذلك، في بيئات العالم الحقيقي، نادراً ما يكون هذا هو الحال.

عادة ما تكون المشاهد البصرية ديناميكية. تظهر كائنات ومفاهيم بصرية جديدة، وتتغير الظروف، وغالباً ما يرغب المستخدمون في تجزئة كائنات لم تكن جزءاً من إعداد التدريب الأصلي.

تتضح هذه القيود بشكل خاص عندما يتعلق الأمر بالتجزئة. مع استمرار تطور الذكاء الاصطناعي البصري، هناك حاجة متزايدة لنماذج تجزئة أكثر مرونة يمكنها التكيف مع مفاهيم جديدة دون إعادة تدريب متكررة. ولهذا السبب تكتسب تجزئة المفاهيم القابلة للتلقين (PCS) اهتماماً واسعاً.

بدلاً من الاعتماد على قائمة ثابتة من فئات الكائنات، يمكن للمستخدمين وصف ما يريدون تجزئته باستخدام نصوص، أو مطالبات بصرية، أو صور أمثلة. يمكن لهذه النماذج بعد ذلك تحديد وتجزئة جميع المناطق التي تطابق المفهوم الموصوف، حتى لو لم يتم تضمين هذا المفهوم صراحة أثناء التدريب.

في هذه المقالة، سنستكشف كيف تعمل تجزئة المفاهيم القابلة للتلقين، وكيف تختلف عن الأساليب التقليدية، وأين يتم استخدامها اليوم.

Link to this sectionما هي تجزئة المفاهيم القابلة للتلقين؟#

في معظم الحالات، يتم تدريب نماذج التجزئة للتعرف على قائمة قصيرة من أنواع الكائنات. يعمل هذا بشكل جيد عندما يحتاج نظام الذكاء الاصطناعي البصري فقط إلى اكتشاف وتجزئة مجموعة محددة من الكائنات.

في تطبيقات العالم الحقيقي، ومع ذلك، فإن المشاهد البصرية ديناميكية. تظهر كائنات جديدة، وتتغير متطلبات المهام، وغالباً ما يحتاج المستخدمون إلى تجزئة مفاهيم لم تكن مدرجة في مجموعة التصنيفات الأصلية. دعم هذه المواقف يعني عادةً جمع بيانات وتعليقات توضيحية جديدة عالية الجودة وإعادة تدريب النموذج، مما يزيد من التكلفة ويبطئ النشر.

تحل تجزئة المفاهيم القابلة للتلقين هذه المشكلة من خلال السماح للمستخدمين بإخبار النموذج بما يجب البحث عنه بدلاً من الاختيار من قائمة ثابتة من التصنيفات. يصف المستخدمون الكائن أو الفكرة التي يبحثون عنها، ويقوم النموذج بتسليط الضوء على جميع المناطق المطابقة في الصورة. وهذا يجعل من السهل جداً ربط نية المستخدم بالبكسلات الفعلية في الصورة.

الشكل 1. نظرة على استخدام مطالبات المفاهيم للتجزئة (المصدر)

Link to this sectionتوجيه التجزئة باستخدام أنواع مختلفة من المطالبات#

تعتبر النماذج التي تدعم تجزئة المفاهيم القابلة للتلقين مرنة لأنها يمكن أن تقبل أنواعاً مختلفة من المدخلات. بمعنى آخر، هناك أكثر من طريقة لإخبار النموذج بما يجب البحث عنه، مثل الأوصاف النصية، أو التلميحات البصرية، أو من خلال صور الأمثلة.

إليك نظرة فاحصة على كل نهج:

• المطالبات النصية: يمكن استخدام عبارات قصيرة مثل "حافلة مدرسية" أو "منطقة ورم" لوصف المفهوم المراد تجزئته. يفسر النموذج معنى الكلمات ويحدد المناطق المطابقة.
• المطالبات البصرية: تستخدم هذه المطالبات نقاطاً، أو مربعات، أو رسومات تخطيطية تقريبية داخل الصورة كتلميحات. توجه هذه الإشارات إلى مكان البحث وتساعد في تشكيل الحدود النهائية.
• أمثلة الصور: تمثل الصور المرجعية أو الاقتصاصات الصغيرة المفهوم محل الاهتمام. يبحث النموذج عن مناطق متشابهة بصرياً ويقوم بتجزئتها بناءً على المظهر البصري.

Link to this sectionالفرق بين PCS والتجزئة التقليدية#

قبل أن نتعمق في كيفية عمل تجزئة المفاهيم القابلة للتلقين، دعنا أولاً نقارنها بأساليب تجزئة الكائنات التقليدية المختلفة.

تمكّن PCS من استخدام نماذج مفتوحة المفردات ومدفوعة بالمطالبات. يمكنها العمل مع أفكار جديدة موصوفة من خلال المطالبات، لكن التجزئة التقليدية لا يمكنها ذلك. هناك عدة أنواع مختلفة من أساليب التجزئة التقليدية، لكل منها افتراضاتها وقيودها الخاصة.

إليك لمحة عن بعض الأنواع الرئيسية للتجزئة التقليدية:

• التجزئة الدلالية: يتم تصنيف كل بكسل في الصورة كجزء من فئة مثل طريق، أو مبنى، أو شخص. يتم تجميع جميع البكسلات التي تحمل نفس التصنيف معاً، لذا لا يقوم النموذج بفصل حالات الكائنات الفردية.
• تجزئة الحالات: يحدد النموذج ويجزئ كائنات فردية، بحيث يتم التعامل مع شخصين أو سيارتين كعناصر منفصلة.
• التجزئة البانوبتية: تجمع هذه التقنية بين التجزئة الدلالية وتجزئة الحالات لتوفير رؤية كاملة للمشهد، تغطي كلاً من مناطق الخلفية والكائنات الفردية.

تعتمد جميع هذه الأساليب على قائمة محددة مسبقاً من فئات الكائنات. وهي تعمل بشكل جيد ضمن هذا النطاق، لكنها لا تتعامل مع المفاهيم خارجه بشكل جيد. عندما تحتاج إلى تجزئة كائن محدد جديد، عادةً ما تكون هناك حاجة إلى بيانات تدريب إضافية وضبط دقيق للنموذج.

تهدف PCS إلى تغيير ذلك. بدلاً من الانغلاق في فئات محددة مسبقاً، فهي تتيح لك وصف ما تريد تجزئته في صورة ما في وقت الاستدلال.

Link to this sectionتطور نماذج PCS#

بعد ذلك، دعنا نستعرض كيف تطورت نماذج التجزئة نحو تجزئة المفاهيم القابلة للتلقين.

كان أحد النماذج الأساسية الشائعة التي ميزت تحولاً في التجزئة هو SAM، أو نموذج "تجزئة أي شيء" (Segment Anything Model). تم تقديمه في عام 2023. بدلاً من الاعتماد على فئات كائنات محددة مسبقاً، سمح SAM للمستخدمين بتوجيه التجزئة باستخدام مطالبات بصرية بسيطة مثل النقاط أو مربعات الإحاطة.

مع SAM، لم يعد المستخدمون بحاجة إلى اختيار تصنيف. يمكنهم ببساطة الإشارة إلى مكان وجود كائن، وسيقوم النموذج بإنشاء قناع له. جعل هذا التجزئة أكثر مرونة، لكن لا يزال المستخدمون بحاجة إلى إظهار النموذج أين يبحث.

SAM 2، الذي تم إصداره في عام 2024، بنى على هذه الفكرة من خلال التعامل مع مشاهد أكثر تعقيداً وتوسيع التجزئة القابلة للتلقين لتشمل الفيديو. لقد أدى ذلك إلى تحسين المتانة عبر ظروف الإضاءة المختلفة، وأشكال الكائنات، والحركة، مع الاستمرار في الاعتماد بشكل أساسي على المطالبات البصرية لتوجيه التجزئة.

نموذج SAM 3 هو الخطوة الأخيرة في هذا التطور. تم إصداره العام الماضي وهو نموذج موحد يجمع بين الفهم البصري والتوجيه اللغوي، مما يتيح سلوكاً متسقاً عبر مهام تجزئة الصور والفيديو.

مع SAM 3، لا يقتصر المستخدمون على مطالبات التأشير أو الرسم. بدلاً من ذلك، يمكنهم وصف ما يريدون تجزئته باستخدام نص، ويبحث النموذج في الصورة أو إطارات الفيديو عن المناطق التي تطابق هذا الوصف.

يتم توجيه التجزئة بواسطة مفاهيم بدلاً من فئات كائنات ثابتة، مما يدعم استخدام مفردات مفتوحة عبر مشاهد مختلفة وبمرور الوقت. في الواقع، يعمل SAM 3 عبر مساحة مفاهيمية كبيرة ومتعلمة ترتكز على أنطولوجيا مستمدة من مصادر مثل ويكيداتا وتوسعت من خلال بيانات تدريب واسعة النطاق.

الشكل 2. مثال على مطالبة SAM 3 وتجزئة صورة واحدة (المصدر)

مقارنة بالإصدارات السابقة التي كانت تعتمد في الغالب على مطالبات هندسية، يمثل SAM 3 خطوة نحو تجزئة أكثر مرونة ومدفوعة بالمفاهيم. وهذا يجعله أكثر ملاءمة لتطبيقات العالم الحقيقي حيث قد تتغير الكائنات أو الأفكار محل الاهتمام ولا يمكن دائماً تعريفها مسبقاً.

Link to this sectionاستكشاف كيفية عمل التجزئة البصرية القابلة للتلقين#

إذاً، كيف تعمل تجزئة المفاهيم القابلة للتلقين؟ إنها تبني على نماذج رؤية ونماذج لغة بصرية كبيرة ومدربة مسبقاً، وهي نماذج تم تدريبها على مجموعات ضخمة من الصور، وفي كثير من الحالات، نصوص مقترنة. يتيح لهم هذا التدريب تعلم أنماط بصرية عامة ومعانٍ دلالية.

تستخدم معظم نماذج PCS معماريات قائمة على المحولات (Transformers)، والتي تعالج صورة كاملة في وقت واحد لفهم كيفية ارتباط المناطق المختلفة ببعضها البعض. يستخرج محول الرؤية ميزات بصرية من الصورة، بينما يقوم مشفر النص بتحويل الكلمات إلى تمثيلات رقمية يمكن للنموذج التعامل معها.

أثناء التدريب، يمكن لهذه النماذج التعلم من أنواع مختلفة من الإشراف، بما في ذلك الأقنعة على مستوى البكسل التي تحدد حدود الكائنات بدقة، ومربعات الإحاطة التي تحدد موقع الكائنات تقريباً، وتصنيفات مستوى الصورة التي تصف ما يظهر في الصورة. يساعد التدريب باستخدام أنواع مختلفة من البيانات المصنفة النموذج على التقاط كل من التفاصيل الدقيقة والمفاهيم البصرية الأوسع.

في وقت الاستدلال، أي عندما يتم استخدام النموذج فعلياً لإجراء تنبؤات، تتبع PCS عملية مدفوعة بالمطالبات. يقدم المستخدم توجيهاً من خلال أوصاف نصية، أو تلميحات بصرية مثل النقاط أو المربعات، أو صور أمثلة. يقوم النموذج بتشفير كل من المطالبة والصورة في تمثيل داخلي مشترك أو تضمينات (embeddings) ويحدد المناطق التي تتوافق مع المفهوم الموصوف.

يقوم مفكك ترميز القناع بعد ذلك بتحويل هذا التمثيل المشترك إلى أقنعة تجزئة دقيقة على مستوى البكسل. ونظراً لأن النموذج يربط الميزات البصرية بالمعنى الدلالي، فيمكنه تجزئة مفاهيم جديدة حتى لو لم يتم تضمينها صراحة أثناء التدريب.

أيضاً، غالباً ما يمكن تحسين المخرجات عن طريق تعديل المطالبة أو إضافة توجيه إضافي، مما يساعد النموذج على التعامل مع المشاهد المعقدة أو الغامضة. تدعم هذه العملية التكرارية التحسين العملي أثناء النشر.

عادةً ما يتم تقييم نماذج تجزئة المفاهيم القابلة للتلقين بناءً على مدى جودة تجزئتها للمفاهيم غير المرئية سابقاً ومدى قوة أدائها عبر مشاهد مختلفة. غالباً ما تركز المعايير على جودة القناع، والتعميم، والكفاءة الحسابية، مما يعكس متطلبات النشر في العالم الحقيقي.

Link to this sectionحالات استخدام PCS في العالم الحقيقي#

بعد ذلك، دعنا نلقي نظرة على الأماكن التي يتم فيها بالفعل استخدام تجزئة المفاهيم القابلة للتلقين وبدأت في إحداث تأثير حقيقي.

Link to this sectionتجزئة مرنة للصور في التصوير الطبي#

يتضمن التصوير الطبي العديد من الهياكل البيولوجية، والأمراض، وأنواع الفحوصات، وتظهر حالات جديدة كل يوم. تكافح نماذج التجزئة التقليدية لمواكبة هذا التنوع.

تتناسب PCS بشكل طبيعي مع هذا المجال لأنها تتيح للأطباء وصف ما يريدون العثور عليه بدلاً من الاختيار من قائمة قصيرة وجامدة. باستخدام عبارات نصية أو مطالبات بصرية، يمكن استخدام PCS لتجزئة الأعضاء أو مناطق القلق مباشرة، دون إعادة تدريب النموذج لكل مهمة جديدة. وهذا يسهل التعامل مع الاحتياجات السريرية المتنوعة، ويقلل من الحاجة إلى رسم القناع يدوياً، ويعمل عبر العديد من أنواع التصوير.

أحد الأمثلة الرائعة هو MedSAM-3، الذي يكيف معمارية SAM 3 لـ PCS القابلة للتلقين نصياً في التصوير الطبي. يمكن مطالبة هذا النموذج بمصطلحات تشريحية ومرضية صريحة، مثل أسماء الأعضاء مثل الكبد أو الكلى والمفاهيم المتعلقة بالآفات مثل الورم أو الآفة. عند إعطاء مطالبة، يقوم النموذج بتجزئة المنطقة المقابلة مباشرة في الصورة الطبية.

يدمج MedSAM-3 أيضاً نماذج لغوية كبيرة متعددة الوسائط (MLLMs أو LLMs متعددة الوسائط)، والتي يمكنها الاستدلال عبر كل من النصوص والصور. تعمل هذه النماذج في إعداد "وكيل في الحلقة" (agent-in-the-loop)، حيث يتم تحسين النتائج بشكل تكراري لزيادة الدقة في الحالات الأكثر صعوبة.

الشكل 3. خط أنابيب MedSAM-3 لتجزئة الورم الموجه نصياً في الصور الطبية (المصدر)

يعمل MedSAM-3 بشكل جيد عبر بيانات الأشعة السينية، والرنين المغناطيسي، والأشعة المقطعية، والموجات فوق الصوتية، والفيديو، مما يسلط الضوء على كيف يمكن لـ PCS تمكين سير عمل تصوير طبي أكثر مرونة وكفاءة في البيئات السريرية الحقيقية.

Link to this sectionتجزئة تكيفية للجراحة الروبوتية والأتمتة#

تعتمد الجراحة الروبوتية على أنظمة الرؤية لتتبع الأدوات وفهم المشاهد الجراحية المتغيرة بسرعة. تتحرك الأدوات بسرعة، وتختلف الإضاءة، ويمكن أن تظهر أدوات جديدة في أي وقت، مما يجعل أنظمة التصنيف المحددة مسبقاً صعبة الصيانة.

مع PCS، يمكن للروبوتات تتبع الأدوات، وتوجيه الكاميرات، ومتابعة الخطوات الجراحية في الوقت الفعلي. وهذا يقلل من التصنيف اليدوي ويجعل الأنظمة أسهل في التكيف مع الإجراءات المختلفة. يمكن للجراحين أو الأنظمة المؤتمتة استخدام مطالبات نصية مثل "قابض"، أو "مشرط"، أو "أداة كاميرا" للإشارة إلى ما يجب تجزئته في صورة ما.

الشكل 4. تجزئة الأدوات الجراحية المستخدمة أثناء الجراحة الروبوتية (المصدر)

Link to this sectionتجزئة مفتوحة المفردات مع Ultralytics YOLOE-26#

نموذج آخر متطور ومثير للاهتمام يتعلق بتجزئة المفاهيم القابلة للتلقين هو Ultralytics YOLOE-26. يجلب نموذجنا تجزئة مفتوحة المفردات ومدفوعة بالمطالبات إلى عائلة نماذج Ultralytics YOLO.

تم بناء YOLOE-26 على معمارية Ultralytics YOLO26 ويدعم تجزئة الحالات مفتوحة المفردات. يتيح YOLOE-26 للمستخدمين توجيه التجزئة بعدة طرق.

وهو يدعم المطالبات النصية، حيث يمكن لعبارات قصيرة ومرتكزة بصرياً تحديد الكائن المستهدف، بالإضافة إلى المطالبات البصرية، التي توفر توجيهاً إضافياً بناءً على إشارات الصورة. بالإضافة إلى ذلك، يتضمن YOLOE-26 وضعاً خالياً من المطالبات للاستدلال بدون تدريب مسبق (zero-shot)، حيث يكتشف النموذج ويجزئ الكائنات من مفردات مدمجة دون الحاجة إلى مطالبات من المستخدم.

يعد YOLOE-26 رائعاً لتطبيقات مثل تحليلات الفيديو، وإدراك الروبوتات، والأنظمة المعتمدة على الحافة، حيث قد تتغير فئات الكائنات ولكن يظل زمن الوصول المنخفض والإنتاجية الموثوقة ضروريين. كما أنه مفيد بشكل خاص لتصنيف البيانات وتنظيم مجموعات البيانات، حيث يعمل على تبسيط سير العمل من خلال أتمتة أجزاء من عملية التعليق التوضيحي.

Link to this sectionإيجابيات وسلبيات تجزئة المفاهيم القابلة للتلقين#

إليك بعض الفوائد الرئيسية لاستخدام تجزئة المفاهيم القابلة للتلقين:

• تكرار ونمذجة أسرع: يمكن اختبار مهام التجزئة الجديدة بسرعة عن طريق تغيير المطالبات بدلاً من إعادة بناء مجموعات البيانات أو إعادة تدريب النماذج، مما يسرع من التجريب والتطوير.
• قابلية التكيف عبر المجالات: غالباً ما يمكن تطبيق نفس نموذج PCS على مجالات مختلفة، مثل التصوير الطبي، أو الروبوتات، أو تحليلات الفيديو، مع الحد الأدنى من التغييرات في سير العمل.
• تحسين تفاعلي: يمكن للمستخدمين تعديل المطالبات بشكل تكراري أو إضافة توجيه لتحسين النتائج، مما يسهل التعامل مع المشاهد الغامضة أو الحالات الحافة دون إعادة تدريب.

بينما تتمتع PCS بمزايا واضحة، إليك بعض القيود التي يجب مراعاتها:

• حساسية المطالبة: التغييرات الصغيرة في كيفية كتابة المطالبة أو تقديمها يمكن أن تؤثر على المخرجات. المطالبات الغامضة جداً أو المحددة جداً قد تؤدي إلى تجزئة غير مكتملة أو غير صحيحة.
• سلوك أقل قابلية للتنبؤ: نظراً لأن النموذج يفسر المطالبات بدلاً من الاختيار من تصنيفات ثابتة، يمكن أن تختلف النتائج أكثر عبر المشاهد والمدخلات، مما قد يمثل مشكلة لخطوط الأنابيب الخاضعة لرقابة صارمة.
• تفسير المفهوم الغامض: بعض المفاهيم ذاتية أو غير محددة بدقة، مما قد يؤدي إلى نتائج تجزئة غير متسقة بين المستخدمين أو عبر الصور.
• موثوقية محدودة للأهداف المحددة للغاية: تكون النماذج القائمة على المطالبات عموماً أقل موثوقية للمهام المحددة ضيقاً والمحددة للحالات، مثل اكتشاف العيوب، حيث يلزم تحديد دقيق ومتسق للميزات الدقيقة.

Link to this sectionالاختيار بين التجزئة القابلة للتلقين والتقليدية#

بينما تستكشف التجزئة القابلة للتلقين، قد تتساءل عن التطبيقات التي تناسبها بشكل أفضل ومتى يكون نموذج رؤية حاسوبية تقليدي مثل YOLO26 أكثر ملاءمة للمشكلة التي تحاول حلها. تعمل التجزئة القابلة للتلقين بشكل جيد للكائنات العامة، لكنها ليست مناسبة لحالات الاستخدام التي تتطلب نتائج دقيقة ومتسقة للغاية.

يعد اكتشاف العيوب مثالاً جيداً. في التصنيع، غالباً ما تكون العيوب صغيرة ودقيقة، مثل الخدوش الصغيرة، أو الانبعاجات، أو اختلال المحاذاة، أو عدم انتظام السطح. يمكن أن تختلف أيضاً بشكل كبير اعتماداً على المواد، والإضاءة، وظروف الإنتاج.

من الصعب وصف هذه المشكلات بمطالبة بسيطة وأصعب على نموذج للأغراض العامة اكتشافها بشكل موثوق. بشكل عام، تميل النماذج القائمة على المطالبات إلى تفويت العيوب أو إنتاج نتائج غير مستقرة، بينما تكون النماذج المدربة خصيصاً على بيانات العيوب أكثر موثوقية بكثير لأنظمة الفحص في العالم الحقيقي.

Link to this sectionأبرز النقاط#

تجعل تجزئة المفاهيم القابلة للتلقين أنظمة الرؤية أسهل في التكيف مع العالم الحقيقي، حيث تظهر كائنات وأفكار جديدة طوال الوقت. بدلاً من الانغلاق في تصنيفات ثابتة، يمكن للمستخدمين ببساطة وصف ما يريدون تجزئته وترك النموذج يقوم بالباقي، مما يوفر الوقت ويقلل من العمل اليدوي. على الرغم من أنها لا تزال تحتوي على قيود، إلا أن PCS تغير بالفعل كيفية استخدام التجزئة في الممارسة العملية ومن المرجح أن تصبح جزءاً أساسياً من أنظمة الرؤية المستقبلية.

اكتشف المزيد حول الذكاء الاصطناعي من خلال زيارة مستودع GitHub الخاص بنا والانضمام إلى مجتمعنا. تحقق من صفحات الحلول الخاصة بنا للتعرف على الذكاء الاصطناعي في الروبوتات والرؤية الحاسوبية في التصنيع. اكتشف خيارات الترخيص الخاصة بنا للبدء في استخدام الذكاء الاصطناعي البصري اليوم!