تطبيقات نموذج تقسيم أي شيء 2 من Meta AI (SAM 2)

في 29 يوليو 2024، أصدرت Meta AI الإصدار الثاني من نموذجها لتقسيم أي شيء، SAM 2. يستطيع النموذج الجديد تحديد وحدات البكسل التي تنتمي إلى جسم مستهدف في الصور ومقاطع الفيديو على حد سواء. كما يستطيع تتبّع جسم عبر جميع إطارات مقطع فيديو باستمرار وفي الوقت الفعلي. ويفتح SAM 2 آفاقًا واعدة في تحرير الفيديو وتجارب الواقع المختلط وتسريع وسم البيانات المرئية لتدريب أنظمة الرؤية الحاسوبية.

استنادًا إلى نجاح SAM الأصلي، الذي استُخدم في مجالات مثل علوم البحار وصور الأقمار الصناعية والطب، يعالج SAM 2 تحديات مثل الأجسام سريعة الحركة والتغيرات في المظهر. وتجعله دقته وكفاءته المحسّنتان أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. سنركز في هذا المقال على المجالات التي يمكن تطبيق SAM 2 فيها، وأهميته لمجتمع الذكاء الاصطناعي.

ما SAM 2؟#

نموذج تقسيم أي شيء 2 هو نموذج أساس متقدم يدعم التقسيم المرئي القابل للتوجيه، أو PVS، في الصور ومقاطع الفيديو. وPVS تقنية تمكّن النموذج من تقسيم أجزاء مختلفة من صورة أو مقطع فيديو أو تحديدها استنادًا إلى مطالبات أو مدخلات محددة يقدمها المستخدم. ويمكن أن تكون هذه المطالبات على هيئة نقرات أو مربعات أو أقنعة تبرز المنطقة موضع الاهتمام. ثم ينشئ النموذج قناع تقسيم يحدد المنطقة المطلوبة.

توسّع بنية SAM 2 إمكانات SAM الأصلي، إذ تنتقل من تقسيم الصور إلى شمل تقسيم مقاطع الفيديو أيضًا. وتتضمن مفكك أقنعة خفيفًا يستخدم بيانات الصور والتوجيهات لإنشاء أقنعة التقسيم. أما بالنسبة إلى مقاطع الفيديو، فيقدم SAM 2 نظام ذاكرة يساعده على تذكّر المعلومات من الإطارات السابقة، بما يضمن التتبّع الدقيق بمرور الوقت. ويضم نظام الذاكرة مكونات تخزّن تفاصيل الكائنات التي يجري تقسيمها وتسترجعها. كما يستطيع SAM 2 التعامل مع حالات الاحتجاب، وتتبع الكائنات عبر إطارات متعددة، ومعالجة التوجيهات الملتبسة بإنشاء عدة أقنعة محتملة. وتجعل بنية SAM 2 المتقدمة قدراته عالية في البيئات المرئية الثابتة والديناميكية على حد سواء.

وعلى وجه التحديد، يحقق SAM 2 في تقسيم الفيديو دقة أعلى مع عدد تفاعلات أقل من المستخدم بثلاث مرات مقارنةً بالأساليب السابقة. أما في تقسيم الصور، فيتفوق SAM 2 على نموذج Segment Anything (SAM) الأصلي، إذ يعمل أسرع بست مرات ويحقق دقة أعلى. وقد عُرض هذا التحسن في ورقة أبحاث SAM 2 عبر 37 مجموعة بيانات مختلفة، منها 23 مجموعة اختُبر عليها SAM سابقًا.

الشكل 1. مقارنة بين SAM وSAM 2.

ومن اللافت أن Meta AI طوّرت SAM 2 بإنشاء أكبر مجموعة بيانات لتقسيم الفيديو حتى الآن، وهي مجموعة بيانات SA-V. وتضم مجموعة البيانات الضخمة أكثر من 50,000 مقطع فيديو و35.5 مليون قناع تقسيم، وجُمعت من خلال مساهمات تفاعلية من المستخدمين. وقدّم القائمون على الوسم مطالبات وتصحيحات لمساعدة النموذج على التعلم من مجموعة متنوعة من السيناريوهات وأنواع الأجسام.

تطبيقات Segment Anything Model 2#

بفضل إمكاناته المتقدمة في تقسيم الصور ومقاطع الفيديو، يمكن استخدام SAM 2 في قطاعات متنوعة. فلنستكشف بعض هذه التطبيقات.

يدعم SAM 2 الواقع المعزز (AR) والواقع الافتراضي (VR)#

يمكن استخدام نموذج التقسيم الجديد من Meta AI في تطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). فعلى سبيل المثال، يستطيع SAM 2 تحديد الكائنات في العالم الحقيقي وتقسيمها بدقة، مما يجعل التفاعل مع الكائنات الافتراضية أكثر واقعية. ويمكن الاستفادة منه في مجالات متنوعة مثل الألعاب، والتعليم، والتدريب، حيث يكون التفاعل الواقعي بين العناصر الافتراضية والحقيقية ضروريًا.

مع ازدياد تطور الأجهزة، مثل نظارات الواقع المعزز، قد تُدمج إمكانات SAM 2 فيها قريبًا. تخيل أنك ترتدي نظارات وتنظر حول غرفة المعيشة. عندما تقسّم نظاراتك وعاء الماء الخاص بكلبك وتلاحظه، فقد تذكّرك بإعادة ملئه، كما هو موضح في الصورة أدناه. أو إذا كنت تحضّر وصفة جديدة، فقد تحدد النظارات المكونات الموجودة على سطح المطبخ وتقدم لك تعليمات ونصائح خطوة بخطوة، مما يحسّن تجربة الطهي ويضمن توافر جميع الأغراض اللازمة في متناول يدك.

الشكل 2. قد يُستخدم SAM 2 قريبًا في نظارات الواقع المعزز.

التصوير بالسونار باستخدام نموذج Segment Anything 2#

أظهرت الأبحاث التي استخدمت النموذج SAM إمكانية تطبيقه في مجالات متخصصة مثل التصوير بالسونار. ويواجه التصوير بالسونار تحديات فريدة بسبب انخفاض دقته وارتفاع مستويات التشويش والأشكال المعقدة للأجسام في الصور. ومن خلال الضبط الدقيق لـ SAM على صور السونار، أثبت الباحثون قدرته على تقسيم أجسام مختلفة تحت الماء بدقة، مثل المخلفات البحرية والتكوينات الجيولوجية وغيرها من العناصر موضع الاهتمام. ويمكن استخدام التصوير الدقيق والموثوق تحت الماء في الأبحاث البحرية وعلم الآثار تحت الماء وإدارة مصايد الأسماك والمراقبة، لتنفيذ مهام مثل رسم خرائط الموائل واكتشاف القطع الأثرية ورصد التهديدات.

الشكل 3. مثال على استخدام SAM مضبوطًا بدقة لتقسيم صور السونار.

بما أن SAM 2 يستند إلى كثير من التحديات التي واجهها SAM ويعالجها، فإنه قادر على مواصلة تحسين تحليل صور السونار. ويمكن لقدراته الدقيقة على التقسيم أن تدعم تطبيقات تحت الماء متنوعة، تشمل البحث العلمي ومصايد الأسماك. فعلى سبيل المثال، يستطيع SAM 2 تحديد معالم المنشآت تحت الماء بفعالية، واكتشاف المخلفات البحرية، والتعرّف على الأجسام في صور السونار ذي المسح الأمامي، ما يسهم في استكشاف البيئات تحت الماء ورصدها بدقة وكفاءة أكبر.

فيما يلي الفوائد المحتملة لاستخدام SAM 2 في تحليل التصوير بالسونار:

• الكفاءة: يقلل الوقت والجهد اللازمين للتقسيم اليدوي، ما يتيح للمتخصصين التركيز بدرجة أكبر على التحليل واتخاذ القرارات.
• الاتساق: يوفر نتائج تقسيم متسقة وقابلة لإعادة الإنتاج، وهي ضرورية للأبحاث البحرية واسعة النطاق والمراقبة.
• تعدد الاستخدامات: يستطيع التعامل مع طيف واسع من صور السونار، ما يجعله مفيدًا لتطبيقات متنوعة في العلوم والصناعات البحرية.

يمكن للصناعة البحرية، من خلال دمج SAM 2 في عمليات التصوير بالسونار، تحقيق كفاءة ودقة وموثوقية أعلى في استكشاف البيئة تحت الماء وتحليلها، ما يؤدي في نهاية المطاف إلى نتائج أفضل في الأبحاث البحرية.

استخدام SAM 2 في المركبات ذاتية القيادة#

ومن تطبيقات SAM 2 الأخرى المركبات ذاتية القيادة. يستطيع SAM 2 تحديد الأجسام بدقة، مثل المشاة والمركبات الأخرى وإشارات المرور والعوائق، في الوقت الفعلي. ويُعد مستوى التفاصيل الذي يوفره SAM 2 ضروريًا لاتخاذ قرارات الملاحة الآمنة وتجنب الاصطدام. ومن خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 على إنشاء خريطة مفصلة وموثوقة للبيئة، ويؤدي إلى تحسين عملية اتخاذ القرارات.

الشكل 4. استخدام التقسيم لفهم حركة المرور.

تجعل قدرة SAM 2 على العمل بكفاءة في ظروف الإضاءة المختلفة ومع تغيرات الطقس والبيئات الديناميكية منه خيارًا موثوقًا للمركبات ذاتية القيادة. سواء أكان ذلك في شارع حضري مزدحم أم على طريق سريع ضبابي، يستطيع SAM 2 التعرف على الأجسام وتقسيمها بدقة واتساق، كي تتمكن المركبة من الاستجابة على النحو الصحيح لمختلف المواقف.

ومع ذلك، ينبغي مراعاة بعض القيود. فقد يغفل SAM 2 أحيانًا التفاصيل الدقيقة للأجسام المعقدة والسريعة الحركة، وقد تصبح تنبؤاته غير مستقرة عبر الإطارات. كذلك، قد يخلط SAM 2 أحيانًا بين أجسام متشابهة المظهر في المشاهد المزدحمة. ولهذا تكتسب إضافة مستشعرات وتقنيات أخرى أهمية محورية في تطبيقات القيادة الذاتية.

الرصد البيئي بمساعدة SAM 2#

قد يكون الرصد البيئي باستخدام الرؤية الحاسوبية صعبًا، لا سيما عند نقص البيانات المشروحة، لكن هذا ما يجعل تطبيق SAM 2 في هذا المجال مثيرًا للاهتمام أيضًا. ويمكن استخدام SAM 2 لتتبع التغيرات في المناظر الطبيعية وتحليلها من خلال تقسيم معالم بيئية مختلفة والتعرف عليها بدقة، مثل الغابات والمسطحات المائية والمناطق الحضرية والأراضي الزراعية، وذلك في صور الأقمار الصناعية أو الطائرات المسيّرة. ويساعد التقسيم الدقيق، على وجه الخصوص، في رصد إزالة الغابات والتوسع الحضري والتغيرات في استخدام الأراضي بمرور الوقت، لتوفير بيانات قيّمة من أجل الحفاظ على البيئة والتخطيط.

الشكل 5. استخدام SAM 2 في الرصد البيئي.

فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:

• الاكتشاف المبكر: يحدد المؤشرات المبكرة للتدهور البيئي، ما يتيح التدخل في الوقت المناسب لمنع وقوع مزيد من الأضرار.
• إدارة الموارد: يساعد على إدارة الموارد الطبيعية بكفاءة من خلال تقديم رؤى مفصلة عن حالة مختلف المعالم البيئية.
• الحفاظ على التنوع البيولوجي: يساعد على تتبع الحياة البرية ورصد التنوع البيولوجي، ما يدعم جهود الحفاظ على البيئة وحماية الأنواع المهددة بالانقراض.
• الاستجابة للكوارث: يساعد على تقييم آثار الكوارث الطبيعية، مثل الفيضانات وحرائق الغابات والأعاصير، ما يتيح الاستجابة السريعة والفعالة للكوارث والتخطيط للتعافي منها.

تحرير الفيديو باستخدام SAM 2: جرّبه بنفسك#

يُعد عرض Segment Anything 2 التوضيحي وسيلة رائعة لتجربة النموذج على مقطع فيديو. وباستخدام إمكانات PVS في SAM 2، تمكّنا من تقسيم ثلاثة أجسام أو أشخاص في مقطع فيديو قديم لـ Ultralytics على YouTube وطمسها بالبكسلة. تقليديًا، يستغرق حذف ثلاثة أشخاص من مقطع فيديو كهذا وقتًا طويلًا وجهدًا مضنيًا، ويتطلب وضع أقنعة يدويًا إطارًا تلو الآخر. لكن SAM 2 يبسّط هذه العملية. فببضع نقرات في العرض التوضيحي، يمكنك حماية هوية ثلاثة أجسام موضع اهتمام في ثوانٍ معدودة.

الشكل 6. تجربة العرض التوضيحي لـ SAM 2.

يتيح العرض التوضيحي أيضًا تجربة بعض المؤثرات المرئية المختلفة، مثل تسليط الضوء على الأجسام التي تختارها للتتبع ومحو الأجسام قيد التتبع. إذا أعجبك العرض التوضيحي وأصبحت مستعدًا لبدء الابتكار باستخدام SAM 2، فراجع صفحة وثائق نموذج SAM 2 من Ultralytics للحصول على إرشادات مفصلة حول تجربة النموذج عمليًا. استكشف الميزات وخطوات التثبيت والأمثلة للاستفادة الكاملة من إمكانات SAM 2 في مشاريعك. وقد أصدرت Meta منذ ذلك الحين SAM 3، الذي يضيف تقسيم المفاهيم استنادًا إلى المطالبات النصية.

في الختام#

يُحدث نموذج تقسيم أي شيء 2 (SAM 2) من Meta AI تحولًا في تقسيم الفيديو والصور. ومع تحسن مهام مثل تتبّع الأجسام، نكتشف فرصًا جديدة في تحرير الفيديو والواقع المختلط والبحث العلمي والتصوير الطبي. ومن خلال تبسيط المهام المعقدة وتسريع عملية الوسم، يُتوقع أن يصبح SAM 2 أداة مهمة لمجتمع الذكاء الاصطناعي. ومع استمرارنا في استكشاف النماذج مثل SAM 2 والابتكار بها، يمكننا توقع مزيد من التطبيقات والتطورات في مجالات متنوعة.

تعرّف على مزيد من المعلومات عن الذكاء الاصطناعي من خلال استكشاف مستودع GitHub والانضمام إلى مجتمعنا. اطّلع على صفحات حلولنا للحصول على معلومات مفصلة عن الذكاء الاصطناعي في التصنيع والرعاية الصحية.