تطبيقات نموذج Meta AI للتقسيم Segment Anything Model 2 (SAM 2)
انضم إلينا بينما نتعمق في نموذج Segment Anything Model 2 (SAM 2) من Meta AI ونفهم التطبيقات الواقعية التي يمكن استخدامه فيها عبر مختلف الصناعات.
في 29 يوليو 2024، أطلقت Meta AI الإصدار الثاني من نموذجها Segment Anything Model، والمعروف بـ SAM 2. يمكن للنموذج الجديد تحديد البكسلات التي تنتمي إلى كائن مستهدف بدقة في كل من الصور ومقاطع الفيديو! وأفضل ما في الأمر هو أن النموذج قادر على تتبع كائن عبر جميع إطارات الفيديو باستمرار في الوقت الفعلي. يفتح SAM 2 إمكانيات مثيرة في مجالات تحرير الفيديو، وتجارب الواقع المختلط، وتسريع عملية تعليق البيانات المرئية لتدريب أنظمة الرؤية الحاسوبية.
بناءً على نجاح نموذج SAM الأصلي، الذي تم استخدامه في مجالات مثل العلوم البحرية، وصور الأقمار الصناعية، والطب، يعالج SAM 2 تحديات مثل الأجسام سريعة الحركة وتغيرات المظهر. إن دقته وكفاءته المحسنتان تجعلانه أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. في هذه المقالة، سنركز على المجالات التي يمكن تطبيق SAM 2 فيها وسبب أهميته لمجتمع الذكاء الاصطناعي.
Link to this sectionما هو SAM 2؟#
يعد Segment Anything Model 2 نموذجًا أساسيًا متطورًا يدعم التجزئة المرئية القابلة للتوجيه أو PVS في كل من الصور ومقاطع الفيديو. PVS هي تقنية يمكن للنموذج من خلالها تجزئة أو تحديد أجزاء مختلفة من صورة أو فيديو بناءً على توجيهات أو مدخلات محددة يقدمها المستخدم. يمكن أن تأتي هذه التوجيهات في شكل نقرات، أو صناديق، أو أقنعة تبرز منطقة الاهتمام. ثم يقوم النموذج بإنشاء قناع تجزئة يحدد المنطقة المطلوبة.
تعتمد بنية SAM 2 على النموذج الأصلي SAM من خلال التوسع من تجزئة الصور لتشمل تجزئة الفيديو أيضًا. ويتميز بفك تشفير أقنعة خفيف الوزن يستخدم بيانات الصور والتوجيهات لإنشاء أقنعة التجزئة. بالنسبة لمقاطع الفيديو، يقدم SAM 2 نظام ذاكرة يساعده على تذكر المعلومات من الإطارات السابقة، مما يضمن تتبعًا دقيقًا بمرور الوقت. يتضمن نظام الذاكرة مكونات تخزن وتسترجع تفاصيل حول الكائنات التي يتم تجزئتها. يمكن لـ SAM 2 أيضًا التعامل مع حالات الانسداد، وتتبع الكائنات عبر إطارات متعددة، وإدارة التوجيهات الغامضة عن طريق إنشاء العديد من الأقنعة المحتملة. إن بنية SAM 2 المتقدمة تجعله عالي الكفاءة في البيئات المرئية الساكنة والديناميكية على حد سواء.
على وجه التحديد، فيما يتعلق بتجزئة الفيديو، يحقق SAM 2 دقة أعلى مع تفاعلات أقل للمستخدم بثلاث مرات مقارنة بالطرق السابقة. أما بالنسبة لتجزئة الصور، فيتفوق SAM 2 على Segment Anything Model (SAM) الأصلي، حيث يعتبر أسرع بست مرات وأكثر دقة. تم عرض هذا التحسن في ورقة بحث SAM 2 عبر 37 مجموعة بيانات مختلفة، بما في ذلك 23 مجموعة تم اختبار SAM عليها سابقًا.
الشكل 1. مقارنة بين SAM و SAM 2.
من المثير للاهتمام أن نموذج SAM 2 من Meta AI تم تطويره من خلال إنشاء أكبر مجموعة بيانات لتجزئة الفيديو حتى الآن، وهي مجموعة SA-V. تتضمن مجموعة البيانات الشاملة أكثر من 50,000 مقطع فيديو و35.5 مليون قناع تجزئة، وقد تم جمعها من خلال مساهمات المستخدمين التفاعلية. قدم المعلقون توجيهات وتصحيحات لمساعدة النموذج على التعلم من مجموعة متنوعة من السيناريوهات وأنواع الكائنات.
Link to this sectionتطبيقات Segment Anything Model 2#
بفضل قدراته المتقدمة في تجزئة الصور ومقاطع الفيديو، يمكن استخدام SAM 2 في مختلف الصناعات. دعونا نستكشف بعض هذه التطبيقات.
Link to this sectionSAM 2 يُمكّن الواقع المعزز (AR) والواقع الافتراضي (VR)#
يمكن استخدام نموذج التجزئة الجديد من Meta AI لتطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). على سبيل المثال، يمكن لـ SAM 2 تحديد وتجزئة كائنات العالم الحقيقي بدقة وجعل التفاعل مع الكائنات الافتراضية يبدو أكثر واقعية. يمكن أن يكون مفيدًا في مجالات متنوعة مثل الألعاب، والتعليم، والتدريب، حيث يعد التفاعل الواقعي بين العناصر الافتراضية والحقيقية أمرًا ضروريًا.
مع تقدم الأجهزة مثل نظارات الواقع المعزز، يمكن قريبًا دمج قدرات SAM 2 فيها. تخيل ارتداء النظارات والنظر حول غرفة المعيشة الخاصة بك. عندما تقوم نظاراتك بتجزئة وملاحظة وعاء ماء كلبك، قد تذكرك بإعادة ملئه، كما هو موضح في الصورة أدناه. أو، إذا كنت تطبخ وصفة جديدة، يمكن للنظارات تحديد المكونات الموجودة على سطح العمل وتقديم تعليمات ونصائح خطوة بخطوة، مما يحسن تجربة الطهي الخاصة بك ويضمن وجود جميع العناصر اللازمة في متناول اليد.
الشكل 2. يمكن قريبًا استخدام SAM 2 في نظارات الواقع المعزز.
Link to this sectionالتصوير بالسونار باستخدام Segment Anything Model 2#
أظهرت الأبحاث التي تستخدم نموذج SAM أنه يمكن تطبيقه في مجالات متخصصة مثل التصوير بالسونار. يأتي التصوير بالسونار بتحديات فريدة بسبب دقتها المنخفضة، ومستويات الضوضاء العالية، والأشكال المعقدة للكائنات داخل الصور. من خلال ضبط SAM لصور السونار، أثبت الباحثون قدرته على تجزئة مختلف الكائنات تحت الماء بدقة مثل الحطام البحري، والتكوينات الجيولوجية، وغيرها من العناصر ذات الاهتمام. يمكن استخدام التصوير الدقيق والموثوق تحت الماء في البحوث البحرية، وعلم الآثار تحت الماء، وإدارة مصايد الأسماك، والمراقبة لمهام مثل رسم خرائط الموائل، واكتشاف القطع الأثرية، وكشف التهديدات.
الشكل 3. مثال على استخدام SAM بعد الضبط لتجزئة صور السونار.
بما أن SAM 2 يبني على العديد من التحديات التي يواجهها SAM ويحسنها، فإنه يمتلك القدرة على تحسين تحليل التصوير بالسونار بشكل أكبر. يمكن لقدرات التجزئة الدقيقة الخاصة به المساعدة في تطبيقات بحرية متنوعة، بما في ذلك البحث العلمي ومصايد الأسماك. على سبيل المثال، يمكن لـ SAM 2 تحديد الهياكل تحت الماء بفعالية، واكتشاف الحطام البحري، وتحديد الكائنات في صور السونار الأمامية، مما يساهم في استكشاف ومراقبة أكثر دقة وكفاءة تحت الماء.
إليك الفوائد المحتملة لاستخدام SAM 2 لتحليل التصوير بالسونار:
- الكفاءة: يقلل من الوقت والجهد المطلوبين للتجزئة اليدوية، مما يتيح للمحترفين التركيز أكثر على التحليل واتخاذ القرار.
- الاتساق: يوفر نتائج تجزئة متسقة وقابلة للتكرار، وهو أمر ضروري للبحوث والمراقبة البحرية واسعة النطاق.
- تعدد الاستخدامات: قادر على التعامل مع مجموعة واسعة من صور السونار، مما يجعله مفيدًا لتطبيقات متنوعة في العلوم البحرية والصناعة.
من خلال دمج SAM 2 في عمليات التصوير بالسونار، يمكن للصناعة البحرية تحقيق كفاءة ودقة وموثوقية أعلى في الاستكشاف والتحليل تحت الماء، مما يؤدي في النهاية إلى نتائج أفضل في البحوث البحرية.
Link to this sectionاستخدام SAM 2 في المركبات ذاتية القيادة#
تطبيق آخر لـ SAM 2 هو في المركبات ذاتية القيادة. يمكن لـ SAM 2 تحديد كائنات مثل المشاة، والمركبات الأخرى، وإشارات المرور، والعقبات بدقة في الوقت الفعلي. يعد مستوى التفاصيل الذي يمكن أن يقدمه SAM 2 ضروريًا لاتخاذ قرارات الملاحة الآمنة وتجنب التصادم. من خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 في إنشاء خريطة مفصلة وموثوقة للبيئة ويؤدي إلى اتخاذ قرارات أفضل.
الشكل 4. استخدام التجزئة لفهم حركة المرور.
إن قدرة SAM 2 على العمل بشكل جيد في ظروف الإضاءة المختلفة، وتغيرات الطقس، والبيئات الديناميكية تجعله موثوقًا للمركبات ذاتية القيادة. سواء كان الطريق في مدينة مزدحمة أو طريقًا سريعًا ضبابيًا، يمكن لـ SAM 2 تحديد وتجزئة الكائنات بدقة باستمرار حتى تتمكن المركبة من الاستجابة بشكل صحيح للمواقف المختلفة.
ومع ذلك، هناك بعض القيود التي يجب وضعها في الاعتبار. بالنسبة للكائنات المعقدة وسريعة الحركة، قد يغفل SAM 2 أحيانًا عن التفاصيل الدقيقة، ويمكن أن تصبح تنبؤاته غير مستقرة عبر الإطارات. أيضًا، قد يخلط SAM 2 أحيانًا بين كائنات متعددة متشابهة المظهر في المشاهد المزدحمة. هذه التحديات هي السبب في أن دمج أجهزة استشعار وتقنيات إضافية أمر محوري في تطبيقات القيادة الذاتية.
Link to this sectionالمراقبة البيئية بمساعدة SAM 2#
يمكن أن تكون المراقبة البيئية باستخدام الرؤية الحاسوبية صعبة، خاصة عندما يكون هناك نقص في البيانات المعلقة، ولكن هذا أيضًا ما يجعلها تطبيقًا مثيرًا للاهتمام لـ SAM 2. يمكن استخدام SAM 2 لتتبع وتحليل التغيرات في المناظر الطبيعية من خلال تجزئة وتحديد ميزات بيئية متنوعة بدقة مثل الغابات، والمسطحات المائية، والمناطق الحضرية، والأراضي الزراعية من صور الأقمار الصناعية أو الطائرات بدون طيار. وتحديدًا، تساعد التجزئة الدقيقة في مراقبة إزالة الغابات، والتحضر، وتغيرات استخدام الأراضي بمرور الوقت لتوفير بيانات قيمة لـ الحفاظ على البيئة والتخطيط.
فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:
- الكشف المبكر: يحدد العلامات المبكرة للتدهور البيئي، مما يسمح بالتدخلات في الوقت المناسب لمنع المزيد من الضرر.
- إدارة الموارد: يساعد في إدارة الموارد الطبيعية بكفاءة من خلال توفير رؤى مفصلة حول حالة مختلف الميزات البيئية.
- الحفاظ على التنوع البيولوجي: يساعد في تتبع الحياة البرية ومراقبة التنوع البيولوجي، مما يساهم في جهود الحفظ وحماية الأنواع المهددة بالانقراض.
- الاستجابة للكوارث: يساعد في تقييم تأثير الكوارث الطبيعية مثل الفيضانات، وحرائق الغابات، والأعاصير، مما يتيح استجابة سريعة وفعالة وتخطيطًا للتعافي من الكوارث.
Link to this sectionتحرير الفيديو باستخدام SAM 2: جربه بنفسك#
يعد عرض Segment Anything 2 التوضيحي طريقة رائعة لتجربة النموذج على مقطع فيديو. باستخدام قدرات PVS في SAM 2، أخذنا فيديو قديم لـ Ultralytics على YouTube واستطعنا تجزئة ثلاثة كائنات أو أشخاص في الفيديو وتعتيمهم. تقليديًا، كان تحرير ثلاثة أفراد من فيديو كهذا سيستغرق وقتًا طويلاً ومملًا ويتطلب وضع أقنعة يدوية لكل إطار على حدة. ومع ذلك، يبسط SAM 2 هذه العملية. من خلال بضع نقرات على العرض التوضيحي، يمكنك حماية هوية ثلاثة كائنات تهمك في غضون ثوانٍ.
الشكل 6. تجربة عرض SAM 2 التوضيحي.
يسمح لك العرض التوضيحي أيضًا بتجربة بعض التأثيرات المرئية المختلفة، مثل تسليط الضوء على الكائنات التي تختار تتبعها ومسح الكائنات التي يتم تتبعها. إذا أعجبك العرض التوضيحي وكنت مستعدًا لبدء الابتكار باستخدام SAM 2، تحقق من صفحة وثائق نموذج SAM 2 من Ultralytics للحصول على تعليمات مفصلة حول كيفية التعامل مع النموذج بشكل عملي. استكشف الميزات، وخطوات التثبيت، والأمثلة للاستفادة الكاملة من إمكانات SAM 2 في مشاريعك!
Link to this sectionختاماً#
يُحدث نموذج Segment Anything Model 2 (SAM 2) من Meta AI تحولًا في تجزئة الفيديو والصور. مع تحسن مهام مثل تتبع الكائنات، نكتشف فرصًا جديدة في تحرير الفيديو، والواقع المختلط، والبحوث العلمية، والتصوير الطبي. من خلال تسهيل المهام المعقدة وتسريع التعليقات، فإن SAM 2 مهيأ ليصبح أداة مهمة لمجتمع الذكاء الاصطناعي. بينما نواصل الاستكشاف والابتكار باستخدام نماذج مثل SAM 2، يمكننا توقع المزيد من التطبيقات والتطورات الرائدة عبر مجالات مختلفة!
تعرف على المزيد حول الذكاء الاصطناعي من خلال استكشاف مستودع GitHub الخاص بنا والانضمام إلى مجتمعنا. تحقق من صفحات الحلول الخاصة بنا للحصول على رؤى مفصلة حول الذكاء الاصطناعي في التصنيع والرعاية الصحية. 🚀
