31 يوليو، 2024
انضم إلينا بينما نتعمق في نموذج تقسيم أي شيء (Segment Anything Model 2 (SAM 2)) الخاص بـ Meta AI ونفهم التطبيقات الآنية التي يمكن استخدامه فيها عبر مختلف الصناعات.
في 29 يوليو 2024، أصدرت Meta AI الإصدار الثاني من نموذج تقسيم أي شيء الخاص بهم، SAM 2. يمكن للنموذج الجديد تحديد وحدات البكسل التي تنتمي إلى كائن مستهدف في كل من الصور ومقاطع الفيديو! أفضل جزء هو أن النموذج قادر على تتبع كائن باستمرار عبر جميع إطارات الفيديو في الوقت الفعلي. يفتح SAM 2 إمكانيات مثيرة لـ تحرير الفيديو، و تجارب الواقع المختلط، وتسريع إضافة التعليقات التوضيحية للبيانات المرئية لتدريب أنظمة الرؤية الحاسوبية.
بالاعتماد على نجاح SAM الأصلي، الذي تم استخدامه في مجالات مثل علوم البحار، والتصوير عبر الأقمار الصناعية، و الطب، يعالج SAM 2 تحديات مثل الأجسام سريعة الحركة والتغيرات في المظهر. إن دقته وكفاءته المحسنة تجعله أداة متعددة الاستخدامات لمجموعة واسعة من التطبيقات. في هذه المقالة، سنركز على أين يمكن تطبيق SAM 2 ولماذا هو مهم لمجتمع الذكاء الاصطناعي.
نموذج تقسيم أي شيء 2 (Segment Anything Model 2) هو نموذج أساسي متقدم يدعم تقسيم مرئي قابل للتوجيه أو PVS في كل من الصور ومقاطع الفيديو. PVS هي تقنية حيث يمكن للنموذج تقسيم أو تحديد أجزاء مختلفة من صورة أو مقطع فيديو بناءً على مطالبات أو مدخلات محددة يقدمها المستخدم. يمكن أن تكون هذه المطالبات في شكل نقرات أو مربعات أو أقنعة تسلط الضوء على المنطقة المرغوبة. ثم يقوم النموذج بإنشاء قناع تقسيم يحدد المنطقة المحددة.
تعتمد بنية SAM 2 على SAM الأصلية من خلال التوسع من تقسيم الصور إلى تضمين تقسيم الفيديو أيضًا. وهي تتميز بوحدة فك ترميز أقنعة خفيفة الوزن تستخدم بيانات الصور والمطالبات لإنشاء أقنعة تقسيم. بالنسبة لمقاطع الفيديو، يقدم SAM 2 نظام ذاكرة يساعده على تذكر المعلومات من الإطارات السابقة، مما يضمن تتبعًا دقيقًا بمرور الوقت. يشتمل نظام الذاكرة على مكونات تخزن وتسترجع تفاصيل حول الكائنات التي يتم تقسيمها. يمكن لـ SAM 2 أيضًا التعامل مع الانسدادات، وتتبع الكائنات عبر إطارات متعددة، وإدارة المطالبات الغامضة عن طريق إنشاء العديد من الأقنعة المحتملة. إن بنية SAM 2 المتقدمة تجعلها قادرة للغاية في كل من البيئات المرئية الثابتة والديناميكية.
على وجه التحديد، فيما يتعلق بتقسيم الفيديو، يحقق SAM 2 دقة أعلى مع تفاعلات مستخدم أقل بثلاث مرات مقارنة بالطرق السابقة. بالنسبة لتقسيم الصور، يتفوق SAM 2 على نموذج تقسيم أي شيء (SAM) الأصلي، حيث إنه أسرع بست مرات وأكثر دقة. تم عرض هذا التحسين في ورقة بحث SAM 2 عبر 37 مجموعة بيانات مختلفة، بما في ذلك 23 مجموعة تم اختبار SAM عليها مسبقًا.
ومن المثير للاهتمام، تم تطوير SAM 2 الخاص بـ Meta AI من خلال إنشاء أكبر مجموعة بيانات لتقسيم الفيديو حتى الآن، وهي مجموعة بيانات SA-V. تتضمن مجموعة البيانات الشاملة أكثر من 50000 مقطع فيديو و 35.5 مليون قناع تقسيم وتم جمعها من خلال مساهمات المستخدمين التفاعلية. قدم المعلقون مطالبات وتصحيحات لمساعدة النموذج على التعلم من مجموعة واسعة من السيناريوهات وأنواع الكائنات.
بفضل قدراته المتقدمة في تجزئة الصور والفيديو، يمكن استخدام SAM 2 في مختلف الصناعات. دعنا نستكشف بعضًا من هذه التطبيقات.
يمكن استخدام نموذج التقسيم الجديد الخاص بـ Meta AI لتطبيقات الواقع المعزز (AR) والواقع الافتراضي (VR). على سبيل المثال، يمكن لـ SAM 2 تحديد الأجسام الواقعية وتقسيمها بدقة وجعل التفاعل مع الأجسام الافتراضية يبدو أكثر واقعية. يمكن أن يكون مفيدًا في مختلف المجالات مثل الألعاب و التعليم والتدريب، حيث يعد التفاعل الواقعي بين العناصر الافتراضية والحقيقية أمرًا ضروريًا.
مع تزايد تطور الأجهزة مثل نظارات الواقع المعزز، يمكن دمج قدرات SAM 2 قريبًا فيها. تخيل أنك ترتدي نظارات وتنظر حول غرفة المعيشة الخاصة بك. عندما تقوم نظارتك بتقسيم وتلاحظ وعاء ماء كلبك، فقد تذكرك بإعادة ملئه، كما هو موضح في الصورة أدناه. أو، إذا كنت تطبخ وصفة جديدة، يمكن للنظارات تحديد المكونات الموجودة على سطح العمل الخاص بك وتقديم إرشادات ونصائح خطوة بخطوة، مما يحسن تجربة الطهي الخاصة بك ويضمن حصولك على جميع العناصر الضرورية في متناول اليد.
أظهرت الأبحاث التي تستخدم نموذج SAM أنه يمكن تطبيقه في مجالات متخصصة مثل التصوير بالسونار. يأتي التصوير بالسونار مع تحديات فريدة بسبب دقته المنخفضة ومستويات الضوضاء العالية والأشكال المعقدة للأشياء داخل الصور. من خلال الضبط الدقيق لـ SAM لصور السونار، أظهر الباحثون قدرته على تقسيم مختلف الأجسام تحت الماء بدقة مثل الحطام البحري والتكوينات الجيولوجية وغيرها من العناصر ذات الأهمية. يمكن استخدام التصوير الدقيق والموثوق تحت الماء في البحوث البحرية وعلم الآثار تحت الماء وإدارة مصايد الأسماك والمراقبة لمهام مثل رسم خرائط الموائل واكتشاف القطع الأثرية واكتشاف التهديدات.
%25252525201.png)
نظرًا لأن SAM 2 يبني على العديد من التحديات التي تواجه SAM ويحسنها، فإنه لديه القدرة على تحسين تحليل التصوير بالسونار بشكل أكبر. يمكن لقدرات التجزئة الدقيقة الخاصة به أن تساعد في مختلف التطبيقات البحرية، بما في ذلك البحث العلمي ومصايد الأسماك. على سبيل المثال، يمكن لـ SAM 2 تحديد الهياكل الموجودة تحت الماء بشكل فعال، واكتشاف الحطام البحري، وتحديد الكائنات في صور السونار الأمامية، مما يساهم في استكشاف ومراقبة أكثر دقة وكفاءة تحت الماء.
إليك الفوائد المحتملة لاستخدام SAM 2 لتحليل تصوير السونار:
من خلال دمج SAM 2 في عمليات التصوير بالسونار، يمكن للصناعة البحرية تحقيق كفاءة ودقة وموثوقية أعلى في الاستكشاف والتحليل تحت الماء، مما يؤدي في النهاية إلى نتائج أفضل في البحوث البحرية.
تطبيق آخر لـ SAM 2 هو في المركبات ذاتية القيادة. يمكن لـ SAM 2 تحديد الأجسام بدقة مثل المشاة والمركبات الأخرى وعلامات الطريق والعقبات في الوقت الفعلي. مستوى التفاصيل الذي يمكن أن يوفره SAM 2 ضروري لاتخاذ قرارات الملاحة الآمنة وتجنب الاصطدام. من خلال معالجة البيانات المرئية بدقة، يساعد SAM 2 في إنشاء خريطة تفصيلية وموثوقة للبيئة ويؤدي إلى اتخاذ قرارات أفضل.
إن قدرة SAM 2 على العمل بكفاءة في ظروف الإضاءة المختلفة والتغيرات الجوية والبيئات الديناميكية تجعله موثوقًا للمركبات ذاتية القيادة. سواء كان ذلك في شارع حضري مزدحم أو طريق سريع ضبابي، يمكن لـ SAM 2 تحديد الأجسام وتجزئتها بدقة باستمرار حتى تتمكن السيارة من الاستجابة بشكل صحيح لمختلف المواقف.
ومع ذلك، هناك بعض القيود التي يجب وضعها في الاعتبار. بالنسبة للأجسام المعقدة سريعة الحركة، يمكن أن يفوت SAM 2 أحيانًا التفاصيل الدقيقة، ويمكن أن تصبح تنبؤاته غير مستقرة عبر الإطارات. أيضًا، يمكن أن يخلط SAM 2 أحيانًا بين كائنات متعددة متشابهة المظهر في المشاهد المزدحمة. هذه التحديات هي السبب في أن دمج أجهزة الاستشعار والتقنيات الإضافية أمر محوري في تطبيقات القيادة الذاتية.
يمكن أن تكون المراقبة البيئية باستخدام رؤية الكمبيوتر صعبة، خاصةً عند وجود نقص في البيانات المشروحة، ولكن هذا أيضًا ما يجعلها تطبيقًا مثيرًا للاهتمام لـ SAM 2. يمكن استخدام SAM 2 لتتبع وتحليل التغيرات في المناظر الطبيعية عن طريق تجزئة وتحديد السمات البيئية المختلفة بدقة مثل الغابات والمسطحات المائية والمناطق الحضرية والأراضي الزراعية من صور الأقمار الصناعية أو الطائرات بدون طيار. على وجه التحديد، يساعد التجزئة الدقيقة في مراقبة إزالة الغابات والتوسع الحضري والتغيرات في استخدام الأراضي بمرور الوقت لتوفير بيانات قيمة للحفاظ على البيئة والتخطيط.
فيما يلي بعض فوائد استخدام نموذج مثل SAM 2 لتحليل التغيرات البيئية بمرور الوقت:
يعد العرض التوضيحي لـ Segment Anything 2 طريقة رائعة لتجربة النموذج على مقطع فيديو. باستخدام إمكانات PVS الخاصة بـ SAM 2، أخذنا فيديو قديم من Ultralytics على YouTube وتمكنا من تقسيم ثلاثة كائنات أو أشخاص في الفيديو وإخفاء معالمهم. تقليديًا، كان تعديل ثلاثة أفراد من مقطع فيديو كهذا يستغرق وقتًا طويلاً ومملًا ويتطلب إخفاء يدويًا إطارًا بإطار. ومع ذلك، فإن SAM 2 يبسط هذه العملية. بنقرات قليلة على العرض التوضيحي، يمكنك حماية هوية ثلاثة كائنات مهمة في غضون ثوانٍ.
يتيح لك العرض التوضيحي أيضًا تجربة بعض التأثيرات المرئية المختلفة، مثل تسليط الضوء على الكائنات التي تحددها للتتبع ومحو الكائنات التي يتم تتبعها. إذا أعجبك العرض التوضيحي وكنت مستعدًا لبدء الابتكار باستخدام SAM 2، فراجع صفحة وثائق نموذج Ultralytics SAM 2 للحصول على إرشادات مفصلة حول كيفية التعامل مع النموذج. استكشف الميزات وخطوات التثبيت والأمثلة للاستفادة الكاملة من إمكانات SAM 2 في مشاريعك!
يعمل نموذج تقسيم أي شيء (Segment Anything Model 2 (SAM 2) الخاص بـ Meta AI على تغيير تقسيم الفيديو والصور. مع تحسن مهام مثل تتبع الكائنات، نكتشف فرصًا جديدة في تحرير الفيديو والواقع المختلط والبحث العلمي والتصوير الطبي. من خلال تسهيل المهام المعقدة وتسريع التعليقات التوضيحية، تم إعداد SAM 2 ليصبح أداة مهمة لمجتمع الذكاء الاصطناعي. بينما نواصل الاستكشاف والابتكار باستخدام نماذج مثل SAM 2، يمكننا توقع المزيد من التطبيقات والاكتشافات الرائدة في مختلف المجالات!
تعرف على المزيد حول الذكاء الاصطناعي من خلال استكشاف مستودع GitHub الخاص بنا والانضمام إلى مجتمعنا. تحقق من صفحات الحلول الخاصة بنا للحصول على رؤى تفصيلية حول الذكاء الاصطناعي في التصنيع و الرعاية الصحية. 🚀
