فهم تجزئة المفاهيم القابلة للتوجيه بالمطالبات

يتطور الذكاء الاصطناعي للرؤية بسرعة، ويُستخدم على نطاق واسع لتحليل الصور ومقاطع الفيديو في بيئات العالم الواقعي. فعلى سبيل المثال، يجري دمج نماذج الرؤية الحاسوبية في تطبيقات تتراوح من أنظمة إدارة حركة المرور إلى تحليلات قطاع التجزئة.

في كثير من هذه التطبيقات، تُدرّب نماذج الرؤية، مثل نماذج اكتشاف الكائنات، على التعرّف على مجموعة محددة مسبقًا من الكائنات، بما في ذلك المركبات والأشخاص والمعدات. وأثناء التدريب، تُعرض على هذه النماذج أمثلة عديدة موسومة، لتتعلم مظهر كل كائن وكيفية تمييزه عن غيره في المشهد.

في مهام التقسيم، تتقدم النماذج خطوة إضافية من خلال إنتاج حدود دقيقة لهذه الأجسام على مستوى البكسل. ويتيح ذلك للأنظمة فهم الموقع الدقيق لكل جسم في الصورة.

يعمل هذا النهج جيدًا ما دامت الأنظمة بحاجة إلى التعرّف على ما دُرّبت عليه فقط. لكن هذا نادرًا ما ينطبق على بيئات العالم الواقعي.

تتسم المشاهد المرئية عادةً بالديناميكية. فالكائنات والمفاهيم المرئية الجديدة تظهر، والظروف تتغير، وكثيرًا ما يرغب المستخدمون في تجزئة كائنات لم تكن جزءًا من إعداد التدريب الأصلي.

تتضح هذه القيود خصوصًا في التجزئة. ومع استمرار تطور الذكاء الاصطناعي للرؤية، تتزايد الحاجة إلى نماذج تجزئة أكثر مرونة تستطيع التكيف مع المفاهيم الجديدة من دون تكرار التدريب. ولهذا تحظى تجزئة المفاهيم القابلة للتوجيه بالمطالبات (PCS) باهتمام متزايد.

بدلًا من الاعتماد على قائمة ثابتة بفئات الكائنات، يستطيع المستخدمون وصف ما يريدون تجزئته باستخدام النصوص أو المطالبات المرئية أو الصور النموذجية. وبعد ذلك، يمكن لهذه النماذج تحديد جميع المناطق المطابقة للمفهوم الموصوف وتجزيئها، حتى لو لم يُدرج ذلك المفهوم صراحةً أثناء التدريب.

سنستكشف في هذه المقالة كيفية عمل تجزئة المفاهيم القابلة للتوجيه بالمطالبات، واختلافها عن الأساليب التقليدية، ومجالات استخدامها اليوم.

ما تجزئة المفاهيم القابلة للتوجيه بالمطالبات؟#

في معظم الحالات، تُدرّب نماذج التجزئة على التعرّف على قائمة قصيرة من أنواع الكائنات. وينجح هذا النهج عندما لا يحتاج نظام الذكاء الاصطناعي للرؤية إلا إلى اكتشاف مجموعة محددة من الكائنات وتجزيئها.

لكن المشاهد المرئية في تطبيقات العالم الواقعي ديناميكية. فكائنات جديدة تظهر، ومتطلبات المهام تتغير، وكثيرًا ما يحتاج المستخدمون إلى تجزئة مفاهيم لم تُدرج في مجموعة التسميات الأصلية. ويتطلب دعم هذه الحالات عادةً جمع بيانات وتعليقات توضيحية جديدة عالية الجودة وإعادة تدريب النموذج، ما يزيد التكلفة ويبطئ النشر.

تعالج تجزئة المفاهيم القابلة للتوجيه بالمطالبات هذه المشكلة، إذ تتيح للمستخدمين تحديد ما ينبغي للنموذج البحث عنه بدلًا من الاختيار من قائمة ثابتة من التسميات. ويصف المستخدمون الكائن أو الفكرة التي يبحثون عنها، ثم يحدد النموذج جميع المناطق المطابقة في الصورة. وهذا يسهّل كثيرًا ربط قصد المستخدم بالبكسلات الفعلية في الصورة.

الشكل 1. نظرة على استخدام مطالبات المفاهيم للتجزئة (المصدر)

توجيه التجزئة باستخدام أنواع مختلفة من المطالبات#

تتسم النماذج التي تدعم تجزئة المفاهيم القابلة للتوجيه بالمطالبات بالمرونة، لأنها تقبل أنواعًا مختلفة من المدخلات. وبعبارة أخرى، توجد طرق متعددة لتحديد ما ينبغي للنموذج البحث عنه، مثل الأوصاف النصية أو الإشارات المرئية أو الصور النموذجية.

إليك نظرة أقرب على كل نهج:

• المطالبات النصية: يمكن استخدام عبارات قصيرة مثل «حافلة مدرسية» أو «منطقة ورم» لوصف المفهوم المراد تجزئته. ويفسر النموذج معنى الكلمات ويحدد المناطق المطابقة.
• المطالبات المرئية: تستخدم هذه المطالبات نقاطًا أو مربعات أو رسومات تقريبية داخل الصورة بوصفها إشارات. وتوجّه هذه الإشارات موضع البحث وتساعد على تحديد الحدود النهائية.
• الصور النموذجية: تمثل الصور المرجعية أو القصاصات الصغيرة المفهوم موضع الاهتمام. ويبحث النموذج عن المناطق المشابهة بصريًا ويجزئها بناءً على مظهرها المرئي.

الفرق بين PCS والتجزئة التقليدية#

قبل التعمق في آلية عمل تجزئة المفاهيم القابلة للتوجيه بالمطالبات، لنقارنها أولًا بمناهج تجزئة الكائنات التقليدية المختلفة.

تتيح PCS إنشاء نماذج ذات مفردات مفتوحة وموجّهة بالمطالبات. ويمكنها التعامل مع أفكار جديدة توصف عبر المطالبات، بخلاف التجزئة التقليدية. وتوجد أنواع عدة من مناهج التجزئة التقليدية، لكل منها افتراضاته وقيوده الخاصة.

إليك لمحة عن بعض الأنواع الرئيسية للتجزئة التقليدية:

• التجزئة الدلالية: تُصنَّف كل بكسلة في الصورة ضمن فئة، مثل الطريق أو المبنى أو الشخص. وتُجمع البكسلات التي تحمل التسمية نفسها معًا، ولذلك لا يفصل النموذج بين حالات الكائنات الفردية.
• تجزئة الكائنات: يحدد النموذج الكائنات الفردية ويجزئها، لذا يُعامل شخصان أو سيارتان بوصفهما عنصرين منفصلين.
• التجزئة الشاملة: تجمع هذه التقنية بين التجزئة الدلالية وتجزئة الكائنات لتقديم رؤية شاملة للمشهد، تشمل مناطق الخلفية والكائنات الفردية.

تعتمد جميع هذه المناهج على قائمة محددة مسبقًا من فئات الكائنات. وتعمل جيدًا ضمن هذا النطاق، لكنها لا تتعامل بفاعلية مع المفاهيم الخارجة عنه. وعندما يلزم تجزئة كائن محدد جديد، عادةً ما تكون هناك حاجة إلى بيانات تدريب إضافية وضبط النموذج بدقة.

تهدف PCS إلى تغيير ذلك. فبدلًا من التقيد بفئات محددة مسبقًا، تتيح لك وصف ما تريد تجزئته في صورة وقت الاستدلال.

تطور نماذج PCS#

لنستعرض بعد ذلك كيف تطورت نماذج التجزئة وصولًا إلى تجزئة المفاهيم القابلة للتوجيه بالمطالبات.

كان SAM، أو نموذج تقسيم أي شيء، نموذجًا تأسيسيًا شائعًا مثّل نقطة تحول في التجزئة. وقد طُرح عام 2023. وبدلًا من الاعتماد على فئات كائنات محددة مسبقًا، أتاح SAM للمستخدمين توجيه التجزئة باستخدام مطالبات مرئية بسيطة، مثل النقاط أو مربعات الإحاطة.

مع SAM، لم يعد المستخدمون مضطرين إلى اختيار تسمية. بل أمكنهم ببساطة تحديد موضع الكائن، ليُنشئ النموذج قناعًا له. وجعل ذلك التجزئة أكثر مرونة، لكن ظل على المستخدمين توضيح الموضع الذي ينبغي للنموذج البحث فيه.

استند SAM 2، الذي صدر عام 2024، إلى هذه الفكرة من خلال التعامل مع مشاهد أكثر تعقيدًا وتوسيع نطاق التجزئة الموجّهة بالمطالبات لتشمل الفيديو. وعزّز متانة الأداء في ظروف الإضاءة المختلفة ومع أشكال الكائنات وحركتها، مع استمرار الاعتماد أساسًا على المطالبات المرئية لتوجيه التجزئة.

يمثل نموذج SAM 3 أحدث خطوة في هذا التطور. وقد صدر العام الماضي، وهو نموذج موحد يجمع بين الفهم المرئي والتوجيه اللغوي، ما يتيح سلوكًا متسقًا عبر مهام تجزئة الصور والفيديو.

باستخدام SAM 3، لا يقتصر المستخدمون على تحديد مواضع المطالبات أو رسمها. بل يمكنهم وصف ما يريدون تقسيمه نصيًا، ليبحث النموذج في الصورة أو إطارات الفيديو عن المناطق المطابقة لهذا الوصف.

يسترشد التقسيم بالمفاهيم لا بفئات الكائنات المحددة مسبقًا، ما يدعم استخدام المفردات المفتوحة عبر مشاهد مختلفة وعلى امتداد الزمن. وفي الواقع، يعمل SAM 3 ضمن فضاء واسع من المفاهيم المتعلَّمة، يستند إلى أنطولوجيا مستمدة من مصادر مثل Wikidata وموسعة ببيانات تدريب واسعة النطاق.

الشكل 2. مثال على مطالبة SAM 3 وتقسيم صورة واحدة (المصدر)

مقارنةً بالإصدارات السابقة التي اعتمدت غالبًا على المطالبات الهندسية، يمثّل SAM 3 خطوة نحو تقسيم أكثر مرونة واستنادًا إلى المفاهيم. وهذا يجعله أنسب للتطبيقات الواقعية التي قد تتغير فيها الكائنات أو الأفكار محل الاهتمام، ولا يمكن دائمًا تحديدها مسبقًا.

استكشاف آلية عمل تقسيم المفاهيم القابل للتوجيه بالمطالبات#

إذًا، كيف يعمل تقسيم المفاهيم القابل للتوجيه بالمطالبات؟ يعتمد على نماذج الرؤية واللغة الكبيرة المدربة مسبقًا، وهي نماذج دُرّبت على مجموعات ضخمة من الصور، وفي كثير من الحالات على نصوص مقترنة بها. ويتيح لها هذا التدريب تعلّم الأنماط البصرية العامة والمعاني الدلالية.

تستخدم معظم نماذج PCS بُنى قائمة على Transformer، تعالج الصورة بأكملها دفعة واحدة لفهم العلاقات بين مناطقها المختلفة. وتستخرج محوّلة الرؤية السمات البصرية من الصورة، بينما يحوّل مُرمّز النص الكلمات إلى تمثيلات رقمية يستطيع النموذج التعامل معها.

أثناء التدريب، يمكن لهذه النماذج التعلّم من أنواع مختلفة من الإشراف، بما فيها أقنعة على مستوى البكسل تحدد حدود الكائنات بدقة، ومربعات إحاطة تحدد مواقع الكائنات تقريبًا، وتسميات على مستوى الصورة تصف ما يظهر فيها. ويساعد التدريب باستخدام أنواع مختلفة من البيانات الموسومة النموذج على استيعاب التفاصيل الدقيقة والمفاهيم البصرية الأوسع نطاقًا.

أثناء الاستدلال، أي عند استخدام النموذج فعليًا لإجراء التنبؤات، يتبع تقسيم المفاهيم القابل للتوجيه بالمطالبات (PCS) عمليةً قائمة على المطالبات. يقدّم المستخدم توجيهًا من خلال أوصاف نصية أو تلميحات مرئية، مثل النقاط أو المربعات، أو صور أمثلة. ويرمّز النموذج كلًا من المطالبة والصورة في تمثيل داخلي مشترك، أو تضمينات، ثم يحدد المناطق المتوافقة مع المفهوم الموصوف.

بعد ذلك، يحوّل مفكّك الأقنعة هذا التمثيل المشترك إلى أقنعة تقسيم دقيقة على مستوى البكسل. وبما أن النموذج يربط السمات البصرية بالمعنى الدلالي، يمكنه تقسيم مفاهيم جديدة حتى إن لم تُدرج صراحةً أثناء التدريب.

كذلك، يمكن في كثير من الأحيان تحسين المخرجات بتعديل المطالبة أو إضافة توجيهات أخرى، ما يساعد النموذج على التعامل مع المشاهد المعقدة أو الملتبسة. وتدعم هذه العملية التكرارية التحسين العملي أثناء النشر.

تُقيَّم نماذج تقسيم المفاهيم القابل للتوجيه بالمطالبات عادةً بناءً على مدى كفاءتها في تقسيم المفاهيم التي لم ترها من قبل، ومدى ثبات أدائها عبر المشاهد المختلفة. وتركز المعايير غالبًا على جودة الأقنعة والتعميم والكفاءة الحاسوبية، بما يعكس متطلبات النشر في العالم الحقيقي.

حالات الاستخدام الواقعية لـ PCS#

لنلقِ الآن نظرة على المجالات التي يُستخدم فيها تقسيم المفاهيم القابل للتوجيه بالمطالبات بالفعل، وبدأ فيها إحداث أثر ملموس.

تقسيم مرن للصور في التصوير الطبي#

يشمل التصوير الطبي العديد من البنى البيولوجية والأمراض وأنواع الفحوص، وتظهر حالات جديدة كل يوم. وتواجه نماذج التقسيم التقليدية صعوبة في مواكبة هذا التنوع.

تتلاءم PCS بطبيعتها مع هذا المجال، لأنها تتيح للأطباء وصف ما يريدون العثور عليه بدلًا من الاختيار من قائمة قصيرة وثابتة. وباستخدام العبارات النصية أو المطالبات البصرية، يمكن الاستفادة من PCS لتقسيم الأعضاء أو المناطق المثيرة للقلق مباشرةً، من دون إعادة تدريب النموذج لكل مهمة جديدة. وهذا يسهّل التعامل مع الاحتياجات السريرية المتنوعة، ويقلل الحاجة إلى رسم الأقنعة يدويًا، ويعمل مع أنواع عديدة من التصوير.

ومن الأمثلة البارزة MedSAM-3، الذي يكيّف بنية SAM 3 لتطبيق PCS في التصوير الطبي باستخدام مطالبات نصية. ويمكن توجيه هذا النموذج بمصطلحات تشريحية ومرضية صريحة، مثل أسماء الأعضاء كالكبد أو الكلية، ومفاهيم مرتبطة بالآفات كالورم أو الآفة. وبناءً على المطالبة، يقسّم النموذج المنطقة المقابلة مباشرةً في الصورة الطبية.

يدمج MedSAM-3 أيضًا نماذج اللغة الكبيرة متعددة الوسائط (MLLMs أو LLMs متعددة الوسائط)، القادرة على الاستدلال باستخدام النصوص والصور معًا. وتعمل هذه النماذج ضمن إعداد يتضمن وكيلًا في حلقة المعالجة، حيث تُحسّن النتائج تكراريًا لزيادة الدقة في الحالات الأكثر صعوبة.

الشكل 3. مسار عمل MedSAM-3 لتقسيم الأورام في الصور الطبية باستخدام مطالبات نصية (المصدر)

يحقق MedSAM-3 أداءً جيدًا مع بيانات الأشعة السينية والتصوير بالرنين المغناطيسي والتصوير المقطعي المحوسب والموجات فوق الصوتية والفيديو، ما يبرز قدرة PCS على إتاحة سير عمل أكثر مرونة وكفاءة في التصوير الطبي ضمن البيئات السريرية الحقيقية.

تقسيم تكيّفي للجراحة الروبوتية والأتمتة#

تعتمد الجراحة الروبوتية على أنظمة الرؤية لتتبع الأدوات وفهم المشاهد الجراحية سريعة التغير. تتحرك الأدوات بسرعة، وتتغير الإضاءة، وقد تظهر أدوات جديدة في أي وقت، ما يجعل الحفاظ على أنظمة التسميات المحددة مسبقًا أمرًا صعبًا.

باستخدام PCS، تستطيع الروبوتات تتبع الأدوات وتوجيه الكاميرات ومتابعة الخطوات الجراحية في الوقت الفعلي. وهذا يقلل من الوسم اليدوي ويسهّل تكييف الأنظمة مع الإجراءات المختلفة. ويمكن للجراحين أو الأنظمة الآلية استخدام مطالبات نصية مثل «الملقط» أو «المشرط» أو «أداة الكاميرا» لتحديد ما ينبغي تقسيمه في الصورة.

الشكل 4. تقسيم الأدوات الجراحية المستخدمة أثناء الجراحة الروبوتية (المصدر)

التقسيم بالمفردات المفتوحة باستخدام Ultralytics YOLOE-26#

من النماذج الأخرى المثيرة للاهتمام والمتطورة في مجال تقسيم المفاهيم القابل للتوجيه بالمطالبات Ultralytics YOLOE-26. فهو يقدّم التقسيم القائم على المطالبات والمفتوح المفردات إلى عائلة نماذج Ultralytics YOLO.

بُني YOLOE-26 على بنية Ultralytics YOLO26، ويدعم تقسيم الكائنات بالمفردات المفتوحة. ويتيح YOLOE-26 للمستخدمين توجيه عملية التقسيم بعدة طرق.

يدعم مطالبات نصية يمكن فيها لعبارات قصيرة مستندة بصريًا تحديد الكائن المستهدف، كما يدعم المطالبات البصرية التي توفر توجيهًا إضافيًا استنادًا إلى مؤشرات الصورة. إضافةً إلى ذلك، يتضمن YOLOE-26 وضعًا بلا مطالبات للاستدلال الصفري، يكتشف فيه النموذج الكائنات ويقسمها باستخدام مفردات مدمجة دون الحاجة إلى مطالبات المستخدم.

يتميّز YOLOE-26 بملاءمته لتطبيقات مثل تحليلات الفيديو وإدراك الروبوتات والأنظمة الطرفية، حيث قد تتغير فئات الأجسام، بينما تظل الحاجة إلى زمن استجابة منخفض ومعدل نقل موثوق أمرًا أساسيًا. كما أنه مفيد على نحو خاص لوسم البيانات وتنظيم مجموعات البيانات، إذ يبسّط سير العمل من خلال أتمتة أجزاء من عملية التعليق التوضيحي.

إيجابيات وسلبيات تقسيم المفاهيم القابل للتوجيه بالمطالبات#

فيما يلي بعض الفوائد الرئيسية لاستخدام تقسيم المفاهيم القابل للتوجيه بالمطالبات:

• تكرار النماذج وإعداد النماذج الأولية بسرعة أكبر: يمكن اختبار مهام التقسيم الجديدة بسرعة عبر تغيير المطالبات بدلًا من إعادة بناء مجموعات البيانات أو إعادة تدريب النماذج، ما يسرّع التجريب والتطوير.
• قابلية التكيّف عبر المجالات: يمكن غالبًا تطبيق نموذج PCS نفسه على مجالات مختلفة، مثل التصوير الطبي أو الروبوتات أو تحليلات الفيديو، مع إجراء تغييرات طفيفة على سير العمل.
• التحسين التفاعلي: يمكن للمستخدمين تعديل المطالبات تكراريًا أو إضافة توجيهات لتحسين النتائج، ما يسهّل التعامل مع المشاهد الملتبسة أو الحالات الطرفية من دون إعادة التدريب.

مع أن PCS يتمتع بمزايا واضحة، فإليك بعض القيود التي ينبغي أخذها في الاعتبار:

• الحساسية للمطالبات: قد تؤثر التغييرات الطفيفة في صياغة المطالبة أو تقديمها على المخرجات. وقد تؤدي المطالبات المبهمة أكثر من اللازم أو المحددة أكثر من اللازم إلى تقسيم غير مكتمل أو غير صحيح.
• سلوك أقل قابلية للتنبؤ: بما أن النموذج يفسر المطالبات بدلًا من الاختيار من تسميات ثابتة، فقد تختلف النتائج بدرجة أكبر بين المشاهد والمدخلات، وهو ما قد يشكل مشكلة في مسارات العمل الخاضعة لضوابط صارمة.
• التباس تفسير المفاهيم: بعض المفاهيم ذاتية أو غير محددة بدقة، ما قد يؤدي إلى نتائج تقسيم غير متسقة بين المستخدمين أو عبر الصور.
• موثوقية محدودة للأهداف شديدة التحديد: تكون النماذج القائمة على المطالبات أقل موثوقية عمومًا في المهام المحددة بدقة والخاصة بكائن بعينه، مثل اكتشاف العيوب، حيث يلزم تحديد السمات الدقيقة والمتباينة باستمرار.

الاختيار بين التقسيم القابل للتوجيه والتقسيم التقليدي#

أثناء استكشافك للتقسيم القابل للتوجيه بالمطالبات، قد تتساءل عن التطبيقات الأنسب له، ومتى يكون نموذج الرؤية الحاسوبية التقليدي مثل Ultralytics YOLO26 خيارًا أفضل للمشكلة التي تحاول حلها. يعمل التقسيم القابل للتوجيه جيدًا مع الكائنات العامة، لكنه لا يناسب حالات الاستخدام التي تتطلب نتائج دقيقة ومتسقة للغاية.

يُعد اكتشاف العيوب مثالًا جيدًا على ذلك. ففي التصنيع، غالبًا ما تكون العيوب صغيرة ودقيقة، مثل الخدوش أو الانبعاجات أو عدم المحاذاة أو عدم انتظام السطح. كما قد تختلف اختلافًا كبيرًا تبعًا للمواد والإضاءة وظروف الإنتاج.

يصعب وصف هذه المشكلات بمطالبة بسيطة، ويصعب أكثر على نموذج عام اكتشافها بموثوقية. وبوجه عام، تميل النماذج القائمة على المطالبات إلى تفويت العيوب أو إنتاج نتائج غير مستقرة، بينما تكون النماذج المدربة خصيصًا على بيانات العيوب أكثر موثوقية بكثير لأنظمة الفحص في العالم الحقيقي.

أبرز النقاط#

يجعل تقسيم المفاهيم القابل للتوجيه بالمطالبات تكييف أنظمة الرؤية مع العالم الحقيقي أسهل، حيث تظهر كائنات وأفكار جديدة باستمرار. فبدلًا من التقيد بتسميات ثابتة، يمكن للمستخدمين ببساطة وصف ما يريدون تقسيمه وترك الباقي للنموذج، ما يوفر الوقت ويقلل العمل اليدوي. وعلى الرغم من استمرار وجود بعض القيود، فإن PCS يغيّر بالفعل طريقة استخدام التقسيم عمليًا، ومن المرجح أن يصبح جزءًا أساسيًا من أنظمة الرؤية المستقبلية.

اكتشف المزيد عن الذكاء الاصطناعي بزيارة مستودع GitHub والانضمام إلى مجتمعنا. اطّلع على صفحات حلولنا للتعرف على الذكاء الاصطناعي في الروبوتات والرؤية الحاسوبية في التصنيع. اكتشف خيارات الترخيص لدينا وابدأ اليوم باستخدام الذكاء الاصطناعي للرؤية!