تطبيقات نموذج Meta AI للتقسيم Segment Anything Model 2 (SAM 2)
انضم إلينا بينما نتعمق في نموذج Segment Anything Model 2 (SAM 2) من Meta AI ونفهم التطبيقات الواقعية التي يمكن استخدامه فيها عبر مختلف الصناعات.
في 29 يوليو 2024، أطلقت شركة Meta AI الإصدار الثاني من نموذجها لتجزئة أي شيء، SAM 2. يمكن للنموذج الجديد تحديد البكسلات الدقيقة التي تنتمي إلى كائن مستهدف في كل من الصور والفيديوهات! وأفضل ما في الأمر أن النموذج قادر على تتبع كائن باستمرار عبر جميع إطارات الفيديو في الوقت الفعلي. يفتح SAM 2 إمكانيات مذهلة في تحرير الفيديو، وتجارب الواقع المختلط، والتعليق التوضيحي السريع للبيانات المرئية لتدريب أنظمة رؤية الكمبيوتر.
استناداً إلى نجاح الإصدار الأصلي من SAM، والذي تم استخدامه في مجالات مثل علوم البحار، وصور الأقمار الصناعية، والطب، يتعامل SAM 2 مع التحديات مثل الكائنات سريعة الحركة والتغيرات في المظهر. تجعل دقته وكفاءته المحسنتان منه أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. في هذه المقالة، سنركز على المكان الذي يمكن فيه تطبيق SAM 2 ولماذا هو مهم لمجتمع الذكاء الاصطناعي.
ما هو SAM 2؟#
نموذج تجزئة أي شيء 2 هو نموذج أساسي متقدم يدعم التجزئة المرئية القابلة للتوجيه أو PVS في كل من الصور والفيديوهات. PVS هي تقنية يمكن للنموذج من خلالها تجزئة أو تحديد أجزاء مختلفة من صورة أو فيديو بناءً على إرشادات أو مدخلات محددة يطرحها المستخدم. يمكن أن تكون هذه المدخلات في شكل نقرات، أو مربعات، أو أقنعة تسلط الضوء على منطقة الاهتمام. بعد ذلك، ينشئ النموذج قناع تجزئة يحدد المنطقة المحددة.
تعتمد بنية SAM 2 على النموذج الأصلي SAM من خلال التوسع من تجزئة الصور لتشمل تجزئة الفيديو أيضًا. ويتميز بفك تشفير أقنعة خفيف الوزن يستخدم بيانات الصور والتوجيهات لإنشاء أقنعة التجزئة. بالنسبة لمقاطع الفيديو، يقدم SAM 2 نظام ذاكرة يساعده على تذكر المعلومات من الإطارات السابقة، مما يضمن تتبعًا دقيقًا بمرور الوقت. يتضمن نظام الذاكرة مكونات تخزن وتسترجع تفاصيل حول الكائنات التي يتم تجزئتها. يمكن لـ SAM 2 أيضًا التعامل مع حالات الانسداد، وتتبع الكائنات عبر إطارات متعددة، وإدارة التوجيهات الغامضة عن طريق إنشاء العديد من الأقنعة المحتملة. إن بنية SAM 2 المتقدمة تجعله عالي الكفاءة في البيئات المرئية الساكنة والديناميكية على حد سواء.
تحديداً، فيما يتعلق بتجزئة الفيديو، يحقق SAM 2 دقة أعلى مع تفاعلات مستخدم أقل بثلاث مرات مقارنة بالأساليب السابقة. أما بالنسبة لتجزئة الصور، يتفوق SAM 2 على الإصدار الأصلي Segment Anything Model (SAM)، حيث يكون أسرع بست مرات وأكثر دقة. تم عرض هذا التحسين في ورقة بحث SAM 2 عبر 37 مجموعة بيانات مختلفة، بما في ذلك 23 مجموعة تم اختبار SAM عليها مسبقاً.
Fig 1. مقارنة بين SAM و SAM 2.
ومن المثير للاهتمام أن SAM 2 من Meta AI تم تطويره من خلال إنشاء أكبر مجموعة بيانات لتجزئة الفيديو حتى الآن، وهي مجموعة بيانات SA-V. تتضمن مجموعة البيانات الواسعة أكثر من 50,000 فيديو و35.5 مليون قناع تجزئة وتم جمعها من خلال مساهمات المستخدمين التفاعلية. قدم المعلقون توجيهات وتصحيحات لمساعدة النموذج على التعلم من مجموعة واسعة ومتنوعة من السيناريوهات وأنواع الكائنات.
تطبيقات Segment Anything Model 2#
بفضل قدراته المتقدمة في تجزئة الصور ومقاطع الفيديو، يمكن استخدام SAM 2 في مختلف الصناعات. دعونا نستكشف بعض هذه التطبيقات.
SAM 2 يُمكّن الواقع المعزز (AR) والواقع الافتراضي (VR)#
يمكن استخدام نموذج التجزئة الجديد من Meta AI لتطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). على سبيل المثال، يستطيع SAM 2 بدقة تحديد وتجزئة كائنات العالم الحقيقي وجعل التفاعل مع الكائنات الافتراضية يبدو أكثر واقعية. يمكن أن يكون مفيداً في مجالات مختلفة مثل الألعاب، والتعليم، والتدريب، حيث يكون التفاعل الواقعي بين العناصر الافتراضية والحقيقية أمراً أساسياً.
مع تقدم الأجهزة مثل نظارات الواقع المعزز، يمكن قريبًا دمج قدرات SAM 2 فيها. تخيل ارتداء النظارات والنظر حول غرفة المعيشة الخاصة بك. عندما تقوم نظاراتك بتجزئة وملاحظة وعاء ماء كلبك، قد تذكرك بإعادة ملئه، كما هو موضح في الصورة أدناه. أو، إذا كنت تطبخ وصفة جديدة، يمكن للنظارات تحديد المكونات الموجودة على سطح العمل وتقديم تعليمات ونصائح خطوة بخطوة، مما يحسن تجربة الطهي الخاصة بك ويضمن وجود جميع العناصر اللازمة في متناول اليد.
Fig 2. يمكن استخدام SAM 2 قريباً في نظارات الواقع المعزز.
التصوير بالسونار باستخدام Segment Anything Model 2#
أظهرت الأبحاث التي استخدمت نموذج SAM أنه يمكن تطبيقه في مجالات متخصصة مثل تصوير السونار. يأتي تصوير السونار بتحديات فريدة بسبب داقته المنخفضة، ومستويات الضوضاء العالية، والأشكال المعقدة للكائنات داخل الصور. من خلال ضبط SAM لصور السونار، أثبت الباحثون قدرته على تجزئة مختلف الكائنات تحت الماء بدقة مثل الحطام البحري، والتكوينات الجيولوجية، وغيرها من العناصر ذات الاهتمام. يمكن استخدام التصوير الدقيق والموثوق تحت الماء في البحوث البحرية، وعلم الآثار تحت الماء، وإدارة مصائد الأسماك، والمراقبة لمهام مثل تعيين الخرائط للموائل، واكتشاف الآثار، والكشف عن التهديدات.
Fig 3. مثال على استخدام SAM المُعد خصيصاً لتجزئة صور السونار.
بما أن SAM 2 يبني على العديد من التحديات التي تواجه SAM ويحسنها، فلديه القدرة على تحسين تحليل تصوير السونار بشكل أكبر. يمكن لقدراته الدقيقة في التجزئة أن تساعد في مختلف التطبيقات البحرية، بما في ذلك البحث العلمي ومصائد الأسماك. على سبيل المثال، يمكن لـ SAM 2 تحديد الهياكل تحت الماء بفاعلية، واكتشاف الحطام البحري، وتحديد الكائنات في صور السونار المتطلع للأمام، مما يساهم في استكشاف ورصد أكثر دقة وكفاءة تحت الماء.
إليك الفوائد المحتملة لاستخدام SAM 2 لتحليل التصوير بالسونار:
- الكفاءة: يقلل من الوقت والجهد المطلوبين للتجزئة اليدوية، مما يتيح للمحترفين التركيز أكثر على التحليل واتخاذ القرار.
- الاتساق: يوفر نتائج تجزئة متسقة وقابلة للتكرار، وهو أمر ضروري للبحوث والمراقبة البحرية واسعة النطاق.
- تعدد الاستخدامات: قادر على التعامل مع مجموعة واسعة من صور السونار، مما يجعله مفيدًا لتطبيقات متنوعة في العلوم البحرية والصناعة.
من خلال دمج SAM 2 في عمليات التصوير بالسونار، يمكن للصناعة البحرية تحقيق كفاءة ودقة وموثوقية أعلى في الاستكشاف والتحليل تحت الماء، مما يؤدي في النهاية إلى نتائج أفضل في البحوث البحرية.
استخدام SAM 2 في المركبات ذاتية القيادة#
تطبيق آخر لـ SAM 2 هو في المركبات ذاتية القيادة. يمكن لـ SAM 2 بدقة تحديد كائنات مثل المشاة، والمركبات الأخرى، وإشارات المرور، والعقبات في الوقت الفعلي. مستوى التفاصيل الذي يمكن أن يقدمه SAM 2 ضروري لاتخاذ قرارات القيادة الآمنة وتجنب الاصطدام. من خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 في إنشاء خريطة مفصلة وموثوقة للبيئة ويؤدي إلى اتخاذ قرارات أفضل.
الشكل 4. استخدام التجزئة لفهم حركة المرور.
إن قدرة SAM 2 على العمل بشكل جيد في ظروف الإضاءة المختلفة، وتغيرات الطقس، والبيئات الديناميكية تجعله موثوقًا للمركبات ذاتية القيادة. سواء كان الطريق في مدينة مزدحمة أو طريقًا سريعًا ضبابيًا، يمكن لـ SAM 2 تحديد وتجزئة الكائنات بدقة باستمرار حتى تتمكن المركبة من الاستجابة بشكل صحيح للمواقف المختلفة.
ومع ذلك، هناك بعض القيود التي يجب وضعها في الاعتبار. بالنسبة للكائنات المعقدة وسريعة الحركة، قد يغفل SAM 2 أحيانًا عن التفاصيل الدقيقة، ويمكن أن تصبح تنبؤاته غير مستقرة عبر الإطارات. أيضًا، قد يخلط SAM 2 أحيانًا بين كائنات متعددة متشابهة المظهر في المشاهد المزدحمة. هذه التحديات هي السبب في أن دمج أجهزة استشعار وتقنيات إضافية أمر محوري في تطبيقات القيادة الذاتية.
المراقبة البيئية بمساعدة SAM 2#
قد يكون رصد البيئة باستخدام رؤية الكمبيوتر أمراً معقداً، خاصة عند نقص البيانات المعنّونة، ولكن هذا أيضاً ما يجعله تطبيقاً مثيراً للاهتمام لـ SAM 2. يمكن استخدام SAM 2 لتتبع وتحليل التغيرات في المناظر الطبيعية من خلال تجزئة وتحديد مختلف الميزات البيئية بدقة مثل الغابات، والمسطحات المائية، والمناطق الحضرية، والأراضي الزراعية من صور الأقمار الصناعية أو الطائرات بدون طيار. تحديداً، تساعد التجزئة الدقيقة في رصد إزالة الغابات، والتحضر، والتغيرات في استخدام الأراضي بمرور الوقت لتوفير بيانات قيمة لـ الحفظ البيئي والتخطيط.
فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:
- الكشف المبكر: يحدد العلامات المبكرة للتدهور البيئي، مما يسمح بالتدخلات في الوقت المناسب لمنع المزيد من الضرر.
- إدارة الموارد: يساعد في إدارة الموارد الطبيعية بكفاءة من خلال توفير رؤى مفصلة حول حالة مختلف الميزات البيئية.
- الحفاظ على التنوع البيولوجي: يساعد في تتبع الحياة البرية ومراقبة التنوع البيولوجي، مما يساهم في جهود الحفظ وحماية الأنواع المهددة بالانقراض.
- الاستجابة للكوارث: يساعد في تقييم تأثير الكوارث الطبيعية مثل الفيضانات، وحرائق الغابات، والأعاصير، مما يتيح استجابة سريعة وفعالة وتخطيطًا للتعافي من الكوارث.
تحرير الفيديو باستخدام SAM 2: جربه بنفسك#
عرض Segment Anything 2 التوضيحي هو طريقة رائعة لتجربة النموذج على فيديو. باستخدام قدرات PVS في SAM 2، أخذنا فيديو يوتيوب قديم لـ Ultralytics وكنا قادرين على تجزئة ثلاثة كائنات أو أشخاص في الفيديو وطمسهم بالبكسل. تقليدياً، كان تحرير ثلاثة أفراد من فيديو كهذا سيستغرق وقتاً طويلاً ومملاً ويتطلب إخفاءً يدوياً إطاراً بإطار. ومع ذلك، يبسط SAM 2 هذه العملية. بنقرات قليلة على العرض التوضيحي، يمكنك حماية هوية ثلاثة كائنات تثير الاهتمام في غضون ثوانٍ معدودة.
الشكل 6. تجربة عرض SAM 2 التوضيحي.
يتيح لك العرض التوضيحي أيضاً تجربة بعض المؤثرات البصرية المختلفة، مثل تسليط الضوء على الكائنات التي تحددها للتتبع ومسح الكائنات التي تتم متابعتها. إذا أعجبك العرض التوضيحي وكنت مستعداً لبدء الابتكار باستخدام SAM 2، فراجع صفحة وثائق نموذج Ultralytics SAM 2 للحصول على إرشادات تفصيلية حول التعامل العملي مع النموذج. استكشف الميزات، وخطوات التثبيت، والأمثلة للاستفادة الكاملة من إمكانيات SAM 2 في مشاريعك!
ختاماً#
يُحدث نموذج Segment Anything Model 2 (SAM 2) من Meta AI تحولًا في تجزئة الفيديو والصور. مع تحسن مهام مثل تتبع الكائنات، نكتشف فرصًا جديدة في تحرير الفيديو، والواقع المختلط، والبحوث العلمية، والتصوير الطبي. من خلال تسهيل المهام المعقدة وتسريع التعليقات، فإن SAM 2 مهيأ ليصبح أداة مهمة لمجتمع الذكاء الاصطناعي. بينما نواصل الاستكشاف والابتكار باستخدام نماذج مثل SAM 2، يمكننا توقع المزيد من التطبيقات والتطورات الرائدة عبر مجالات مختلفة!
تعرف على المزيد حول الذكاء الاصطناعي من خلال استكشاف مستودع GitHub الخاص بنا والإنضمام إلى مجتمعنا. تحقق من صفحات الحلول الخاصة بنا للحصول على رؤى تفصيلية حول الذكاء الاصطناعي في التصنيع والرعاية الصحية. 🚀
