تطبيقات Segment Anything Model 2 (SAM 2) من Meta AI

في 29 يوليو 2024، أصدرت Meta AI الإصدار الثاني من نموذج تقسيم أي شيء، SAM 2. يستطيع النموذج الجديد تحديد وحدات البكسل التي تنتمي إلى كائن مستهدف في كلٍّ من الصور ومقاطع الفيديو! والأفضل من ذلك أن النموذج قادر باستمرار على تتبّع كائن عبر جميع إطارات مقطع فيديو في الوقت الفعلي. يفتح SAM 2 آفاقًا واعدة لـتحرير الفيديو، وتجارب الواقع المختلط، وتسريع وسم البيانات المرئية لتدريب أنظمة الرؤية الحاسوبية.

استنادًا إلى نجاح نموذج SAM الأصلي، الذي استُخدم في مجالات مثل العلوم البحرية، وصور الأقمار الصناعية، والطب، يعالج SAM 2 تحديات مثل الكائنات سريعة الحركة والتغيرات في المظهر. وتجعل دقته وكفاءته المحسّنتان منه أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. سنركّز في هذه المقالة على المواضع التي يمكن أن يُطبَّق فيها SAM 2 وأسباب أهمية ذلك لمجتمع الذكاء الاصطناعي.

ما هو SAM 2؟#

نموذج تقسيم أي شيء 2 هو نموذج أساس متقدم يدعم التقسيم المرئي القابل للتوجيه، أو PVS، في كلٍّ من الصور ومقاطع الفيديو. PVS هي تقنية يستطيع فيها النموذج تقسيم أجزاء مختلفة من صورة أو مقطع فيديو أو تحديدها استنادًا إلى مطالبات أو مدخلات محددة يقدّمها المستخدم. ويمكن أن تكون هذه المطالبات على شكل نقرات أو مربعات أو أقنعة تبرز المنطقة محل الاهتمام. ثم يُنشئ النموذج قناع تقسيم يحدّد المنطقة المطلوبة.

تبني بنية SAM 2 على نموذج SAM الأصلي، إذ توسّع نطاقه من تقسيم الصور ليشمل تقسيم مقاطع الفيديو أيضًا. وتتضمن وحدة فك ترميز خفيفة للأقنعة تستخدم بيانات الصور والمطالبات لإنشاء أقنعة التقسيم. وبالنسبة إلى مقاطع الفيديو، يقدّم SAM 2 نظام ذاكرة يساعده على تذكّر المعلومات من الإطارات السابقة، مما يضمن التتبّع الدقيق بمرور الوقت. ويتضمن نظام الذاكرة مكونات تخزّن التفاصيل المتعلقة بالكائنات الجاري تقسيمها وتسترجعها. يستطيع SAM 2 أيضًا التعامل مع حالات الاحتجاب، وتتبع الكائنات عبر إطارات متعددة، وإدارة المطالبات الغامضة من خلال إنشاء عدة أقنعة محتملة. وتجعل بنية SAM 2 المتقدمة منه نموذجًا عالي القدرة في البيئات المرئية الثابتة والديناميكية على حد سواء.

وعلى وجه التحديد، فيما يتعلق بتقسيم مقاطع الفيديو، يحقق SAM 2 دقة أعلى مع تفاعلات مستخدم أقل بثلاث مرات مقارنةً بالأساليب السابقة. أما في تقسيم الصور، فيتفوّق SAM 2 على نموذج تقسيم أي شيء (SAM) الأصلي، إذ إنه أسرع بست مرات وأكثر دقة. وقد عُرض هذا التحسن في الورقة البحثية الخاصة بـ SAM 2 عبر 37 مجموعة بيانات مختلفة، من بينها 23 مجموعة سبق اختبار SAM عليها.

الشكل 1. مقارنة بين SAM وSAM 2.

ومن المثير للاهتمام أن SAM 2 من Meta AI طُوِّر من خلال إنشاء أكبر مجموعة بيانات لتقسيم مقاطع الفيديو حتى الآن، وهي مجموعة بيانات SA-V. وتضم مجموعة البيانات الموسّعة أكثر من 50,000 مقطع فيديو و35.5 مليون قناع تقسيم، وقد جُمعت من خلال مساهمات تفاعلية من المستخدمين. وقدّم المعلّقون مطالبات وتصحيحات لمساعدة النموذج على التعلم من مجموعة واسعة من السيناريوهات وأنواع الكائنات.

تطبيقات نموذج تقسيم أي شيء 2#

بفضل قدراته المتقدمة في تقسيم الصور ومقاطع الفيديو، يمكن استخدام SAM 2 في مختلف القطاعات. لنستعرض بعض هذه التطبيقات.

يتيح SAM 2 استخدام الواقع المعزز (AR) والواقع الافتراضي (VR)#

يمكن استخدام نموذج التقسيم الجديد من Meta AI في تطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). فعلى سبيل المثال، يستطيع SAM 2 تحديد الكائنات الموجودة في العالم الحقيقي وتقسيمها بدقة، مما يجعل التفاعل مع الكائنات الافتراضية أكثر واقعية. ويمكن أن يكون مفيدًا في مجالات مختلفة مثل الألعاب، والتعليم، والتدريب، حيث يكون التفاعل الواقعي بين العناصر الافتراضية والحقيقية أمرًا أساسيًا.

ومع ازدياد تطور الأجهزة مثل نظارات الواقع المعزز، يمكن دمج قدرات SAM 2 فيها قريبًا. تخيّل أنك ترتدي نظارات وتنظر حول غرفة معيشتك. عندما تقسّم نظاراتك وعاء ماء كلبك وتتعرف عليه، فقد تذكّرك بإعادة ملئه، كما هو موضح في الصورة أدناه. أو إذا كنت تطهو وصفة جديدة، فقد تحدد النظارات المكونات الموجودة على سطح المطبخ وتقدم إرشادات ونصائح خطوة بخطوة، مما يحسّن تجربة الطهي لديك ويضمن توفر جميع العناصر اللازمة في متناول يدك.

الشكل 2. قد يُستخدم SAM 2 قريبًا في نظارات الواقع المعزز.

التصوير بالسونار باستخدام نموذج تقسيم أي شيء 2#

أظهرت أبحاث تستخدم نموذج SAM إمكانية تطبيقه في مجالات متخصصة مثل التصوير بالسونار. وينطوي التصوير بالسونار على تحديات فريدة بسبب دقته المنخفضة، ومستويات التشويش المرتفعة، والأشكال المعقدة للكائنات داخل الصور. ومن خلال الضبط الدقيق لـ SAM على صور السونار، أثبت الباحثون قدرته على تقسيم مختلف الكائنات الموجودة تحت الماء بدقة، مثل المخلفات البحرية، والتكوينات الجيولوجية، والعناصر الأخرى محل الاهتمام. ويمكن استخدام التصوير الدقيق والموثوق تحت الماء في الأبحاث البحرية، وعلم الآثار تحت الماء، وإدارة مصايد الأسماك، والمراقبة، لتنفيذ مهام مثل رسم خرائط الموائل، واكتشاف القطع الأثرية، ورصد التهديدات.

الشكل 3. مثال على استخدام SAM مضبوطًا بدقة لتقسيم صور السونار.

نظرًا إلى أن SAM 2 يبني على العديد من التحديات التي يواجهها SAM ويحسّنها، فإنه يمتلك القدرة على الارتقاء بتحليل صور السونار أكثر. ويمكن لقدراته الدقيقة على التقسيم أن تساعد في مختلف التطبيقات البحرية، بما في ذلك البحث العلمي ومصايد الأسماك. فعلى سبيل المثال، يستطيع SAM 2 تحديد حدود المنشآت الموجودة تحت الماء بفعالية، ورصد المخلفات البحرية، وتحديد الكائنات في صور السونار الأمامي، مما يسهم في استكشاف البيئة تحت الماء ومراقبتها بدقة وكفاءة أكبر.

فيما يلي الفوائد المحتملة لاستخدام SAM 2 لتحليل صور السونار:

• الكفاءة: يقلل الوقت والجهد اللازمين للتقسيم اليدوي، مما يتيح للمتخصصين التركيز بدرجة أكبر على التحليل واتخاذ القرارات.
• الاتساق: يوفر نتائج تقسيم متسقة وقابلة لإعادة الإنتاج، وهو أمر أساسي للأبحاث والمراقبة البحرية على نطاق واسع.
• تعدد الاستخدامات: قادر على التعامل مع مجموعة واسعة من صور السونار، مما يجعله مفيدًا لتطبيقات متنوعة في العلوم والصناعة البحرية.

من خلال دمج SAM 2 في عمليات التصوير بالسونار، يمكن للقطاع البحري تحقيق كفاءة ودقة وموثوقية أعلى في استكشاف البيئة تحت الماء وتحليلها، مما يؤدي في نهاية المطاف إلى نتائج أفضل في الأبحاث البحرية.

استخدام SAM 2 في المركبات ذاتية القيادة#

من التطبيقات الأخرى لـ SAM 2 استخدامه في المركبات ذاتية القيادة. يستطيع SAM 2 تحديد كائنات مثل المشاة، والمركبات الأخرى، وإشارات المرور، والعوائق في الوقت الفعلي بدقة. ويُعد مستوى التفاصيل الذي يمكن أن يوفره SAM 2 ضروريًا لاتخاذ قرارات الملاحة الآمنة وتجنب الاصطدام. ومن خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 على إنشاء خريطة مفصلة وموثوقة للبيئة، ويفضي إلى اتخاذ قرارات أفضل.

الشكل 4. استخدام التقسيم لفهم حركة المرور.

تجعل قدرة SAM 2 على العمل بكفاءة في ظروف الإضاءة المختلفة، ومع تغيرات الطقس، وفي البيئات الديناميكية منه نموذجًا موثوقًا للمركبات ذاتية القيادة. وسواء كان الأمر يتعلق بشارع حضري مزدحم أو طريق سريع ضبابي، يستطيع SAM 2 تحديد الكائنات وتقسيمها بدقة وباستمرار، بحيث تتمكن المركبة من الاستجابة على نحو صحيح للمواقف المختلفة.

ومع ذلك، هناك بعض القيود التي ينبغي وضعها في الاعتبار. ففي حالة الكائنات المعقدة وسريعة الحركة، قد يفوّت SAM 2 أحيانًا تفاصيل دقيقة، وقد تصبح تنبؤاته غير مستقرة عبر الإطارات. كذلك، قد يخلط SAM 2 أحيانًا بين كائنات متعددة متشابهة المظهر في المشاهد المزدحمة. ولهذا السبب، يُعد دمج مستشعرات وتقنيات إضافية أمرًا محوريًا في تطبيقات القيادة الذاتية.

المراقبة البيئية بمساعدة SAM 2#

قد تكون المراقبة البيئية باستخدام الرؤية الحاسوبية صعبة، لا سيما عند نقص البيانات المعلّمة، لكن هذا تحديدًا ما يجعلها تطبيقًا مثيرًا للاهتمام لـ SAM 2. ويمكن استخدام SAM 2 لتتبع التغيرات في المناظر الطبيعية وتحليلها من خلال تقسيم مختلف المعالم البيئية وتحديدها بدقة، مثل الغابات، والمسطحات المائية، والمناطق الحضرية، والأراضي الزراعية، من صور الأقمار الصناعية أو الطائرات المسيّرة. وعلى وجه التحديد، يساعد التقسيم الدقيق في مراقبة إزالة الغابات، والتحضر، والتغيرات في استخدام الأراضي بمرور الوقت، لتوفير بيانات قيّمة من أجل الحفاظ على البيئة والتخطيط.

فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:

• الكشف المبكر: يحدد العلامات المبكرة للتدهور البيئي، مما يتيح التدخل في الوقت المناسب لمنع المزيد من الأضرار.
• إدارة الموارد: يساعد على إدارة الموارد الطبيعية بكفاءة من خلال توفير رؤى تفصيلية حول حالة مختلف المعالم البيئية.
• الحفاظ على التنوع الحيوي: يساعد في تتبع الحياة البرية ومراقبة التنوع الحيوي، مما يسهم في جهود الحفاظ على البيئة وحماية الأنواع المهددة بالانقراض.
• الاستجابة للكوارث: يساعد في تقييم تأثير الكوارث الطبيعية مثل الفيضانات وحرائق الغابات والأعاصير، مما يتيح الاستجابة السريعة والفعالة للكوارث والتخطيط للتعافي منها.

تحرير الفيديو باستخدام SAM 2: جرّبه بنفسك#

يُعد العرض التوضيحي لـ Segment Anything 2 طريقة رائعة لتجربة النموذج على مقطع فيديو. وباستخدام قدرات PVS في SAM 2، أخذنا مقطع فيديو قديمًا من Ultralytics على YouTube، وتمكّنا من تقسيم ثلاثة كائنات أو أشخاص في الفيديو وتقطيع صورتهم إلى وحدات بكسل. تقليديًا، كان تحرير ثلاثة أشخاص من مقطع فيديو بهذه الطريقة يستغرق وقتًا طويلًا ومملًا، ويتطلب إنشاء أقنعة يدويًا إطارًا تلو الآخر. إلا أن SAM 2 يبسّط هذه العملية. فمن خلال بضع نقرات في العرض التوضيحي، يمكنك حماية هوية ثلاثة كائنات محل اهتمام خلال ثوانٍ.

الشكل 6. تجربة العرض التوضيحي لـ SAM 2.

يتيح لك العرض التوضيحي أيضًا تجربة بعض المؤثرات المرئية المختلفة، مثل تسليط الضوء على الكائنات التي تحددها للتتبع، ومحو الكائنات الجاري تتبعها. إذا أعجبك العرض التوضيحي وكنت مستعدًا لبدء الابتكار باستخدام SAM 2، فاطّلع على صفحة وثائق نموذج SAM 2 من Ultralytics للحصول على إرشادات تفصيلية حول البدء العملي باستخدام النموذج. استكشف الميزات وخطوات التثبيت والأمثلة للاستفادة الكاملة من إمكانات SAM 2 في مشاريعك!

في الختام#

يُحدث نموذج تقسيم أي شيء 2 من Meta AI (SAM 2) تحولًا في تقسيم مقاطع الفيديو والصور. ومع تحسّن مهام مثل تتبع الكائنات، نكتشف فرصًا جديدة في تحرير الفيديو، والواقع المختلط، والبحث العلمي، والتصوير الطبي. ومن خلال تبسيط المهام المعقدة وتسريع عملية وسم البيانات، يستعد SAM 2 ليصبح أداة مهمة لمجتمع الذكاء الاصطناعي. ومع استمرارنا في استكشاف نماذج مثل SAM 2 والابتكار باستخدامها، يمكننا توقّع المزيد من التطبيقات والإنجازات الرائدة في مختلف المجالات!

تعرّف أكثر على الذكاء الاصطناعي من خلال استكشاف مستودعنا على GitHub والانضمام إلى مجتمعنا. اطّلع على صفحات حلولنا للحصول على رؤى تفصيلية حول الذكاء الاصطناعي في التصنيع والرعاية الصحية. 🚀