تمكين Edge AI باستخدام Sony IMX500 وAITRIOS

يتيح الذكاء الاصطناعي على الحافة (Edge AI) لـ نماذج الذكاء الاصطناعي العمل مباشرة على أجهزة مثل الهواتف الذكية والكاميرات والطائرات بدون طيار. وتتمثل ميزته الرئيسية في دعم اتخاذ القرارات بشكل أسرع وفي الوقت الفعلي دون الاعتماد على السحابة. في الواقع، تُظهر الدراسات أن استخدام الذكاء الاصطناعي على منصات الحافة يمكن أن يزيد من الكفاءة التشغيلية بنسبة تصل إلى 40%.

أدت التطورات الأخيرة في الذكاء الاصطناعي على الحافة، وخاصة في مجال الرؤية الحاسوبية، إلى جعله موضوعاً رئيسياً في فعالية YOLO Vision 2024 (YV24)، وهي الفعالية الهجينة السنوية التي تنظمها Ultralytics والتي تجمع عشاق وخبراء الذكاء الاصطناعي لاستكشاف أحدث ما توصلت إليه رؤية الذكاء الاصطناعي (Vision AI). كانت إحدى أبرز نقاط الفعالية هي العرض التقديمي الرئيسي لشركة Sony، حيث استعرضوا أحدث أجهزة الذكاء الاصطناعي وحلول البرمجيات لديهم. تم تسليط الضوء على مستشعر IMX500 ومنصة AITRIOS، وأوضحت Sony كيف تجعل هذه الابتكارات من الأسهل والأكثر كفاءة نشر نماذج Ultralytics YOLO مثل Ultralytics YOLO11 وUltralytics YOLOv8 على الحافة.

قاد الجلسة Wei Tang، وهي مديرة تطوير الأعمال المتخصصة في حلول التصوير لدى Sony، وAmir Servi، وهو مدير منتجات التعلم العميق على الحافة الذي يمتلك خبرة في نشر نماذج التعلم العميق على أجهزة الحافة.

في هذه المقالة، سنعيد النظر في عرض Sony في YV24 ونستكشف كيف يقوم مستشعر IMX500 ومنصة AITRIOS بتحسين استخدام نماذج YOLO لمعالجة ذكاء اصطناعي أسرع وفي الوقت الفعلي على الحافة. لنبدأ!

Link to this sectionرؤية Sony: إتاحة الذكاء الاصطناعي للجميع على أجهزة الحافة#

افتتحت Wei Tang الجلسة بالحديث عن هدف Sony المتمثل في جعل الذكاء الاصطناعي على الحافة متاحاً بنفس السهولة التي جعلت بها التصوير الفوتوغرافي متاحاً منذ سنوات. وأكدت على تركيز Sony الحالي على جلب رؤية الذكاء الاصطناعي (Vision AI) المتقدمة لعدد أكبر من الأشخاص من خلال الحوسبة على الحافة. أحد العوامل الدافعة وراء ذلك هو التأثير الإيجابي الذي يمكن أن يحدثه الذكاء الاصطناعي على الحافة للبيئة. فمن خلال معالجة البيانات مباشرة على الأجهزة بدلاً من الاعتماد على مراكز البيانات الضخمة، تساعد الحوسبة على الحافة في تقليل استخدام الطاقة وخفض انبعاثات الكربون. إنه نهج أكثر ذكاءً وصداقة للبيئة يتماشى تماماً مع التزام Sony ببناء تقنيات لا تعمل بشكل أفضل فحسب، بل تساعد أيضاً في خلق مستقبل أكثر استدامة.

واصلت Wei شرح كيفية قيام شركة Sony Semiconductor Solutions، القسم المتخصص في تقنيات التصوير والاستشعار لدى Sony، بإنشاء مستشعرات صور متقدمة. تُستخدم هذه المستشعرات في مجموعة متنوعة من الأجهزة، حيث تقوم بتحويل الضوء إلى إشارات إلكترونية لالتقاط الصور. مع شحن أكثر من 1.2 مليار مستشعر سنوياً، توجد هذه المستشعرات في ما يقرب من نصف الهواتف المحمولة في العالم، مما يجعل Sony لاعباً رئيسياً في صناعة التصوير.

الشكل 1. أمثلة على مستشعرات الصور من Sony.

بناءً على هذه الخبرة، تتخذ Sony الآن خطوات أبعد من خلال تحويل هذه المستشعرات من أجهزة لالتقاط الصور إلى أدوات ذكية قادرة على معالجة البيانات في الوقت الفعلي، مما يتيح رؤى مدعومة بالذكاء الاصطناعي مباشرة على الأجهزة. قبل أن نناقش حلول الأجهزة والبرمجيات التي تستخدمها Sony لدعم هذا التحول، دعونا نفهم تحديات الذكاء الاصطناعي على الحافة التي تهدف هذه الابتكارات إلى حلها.

Link to this sectionالتحديات المتعلقة بمعالجة صور الذكاء الاصطناعي على أجهزة الحافة#

يأتي تطوير حلول الذكاء الاصطناعي على الحافة مع بعض التحديات الرئيسية، خاصة عند العمل مع أجهزة مثل الكاميرات والمستشعرات. العديد من هذه الأجهزة لديها طاقة وقدرة معالجة محدودة، مما يجعل تشغيل نماذج الذكاء الاصطناعي المتقدمة بكفاءة أمراً معقداً.

فيما يلي بعض القيود الرئيسية الأخرى:

• تعقيد البرمجيات: يمكن أن يكون تكييف نماذج الذكاء الاصطناعي للعمل عبر أجهزة الحافة المختلفة ذات تكوينات الأجهزة المتنوعة أمراً معقداً ويتطلب تعديلات وتحسينات.
• عنق زجاجة المعالجة اللاحقة: غالباً ما يكون هناك تأخير عند نقل كميات كبيرة من البيانات من الجهاز إلى المضيف لإجراء المعالجة اللاحقة. وعادة ما يستهلك هذا وقتاً أطول من استنتاج النموذج الذكي نفسه.
• انفجار البيانات: مع قيام العديد من أجهزة إنترنت الأشياء (IoT) باستمرار بتوليد البيانات، يمكن أن يكون حجم البيانات التي يجب التعامل معها محلياً ساحقاً، مما يضع عبئاً إضافياً على أجهزة الحافة.

Link to this sectionالتعرف على مستشعر الرؤية الذكي Sony IMX500#

يُعد مستشعر الرؤية الذكي Sony IMX500 قطعة أجهزة ثورية في معالجة الذكاء الاصطناعي على الحافة. إنه أول مستشعر رؤية ذكي في العالم مزود بقدرات ذكاء اصطناعي على الشريحة. يساعد هذا المستشعر في التغلب على العديد من التحديات في الذكاء الاصطناعي على الحافة، بما في ذلك عنق زجاجة معالجة البيانات، ومخاوف الخصوصية، وقيود الأداء.

بينما تكتفي المستشعرات الأخرى بتمرير الصور والإطارات، يروي IMX500 قصة كاملة. فهو يعالج البيانات مباشرة على المستشعر، مما يسمح للأجهزة بتوليد رؤى في الوقت الفعلي. خلال الجلسة، قالت Wei Tang: "من خلال الاستفادة من تقنية مستشعرات الصور المتقدمة لدينا، نهدف إلى تمكين جيل جديد من التطبيقات التي يمكنها تحسين الحياة اليومية." تم تصميم IMX500 لتحقيق هذا الهدف، مما يغير الطريقة التي تتعامل بها الأجهزة مع البيانات مباشرة على المستشعر، دون الحاجة إلى إرسالها إلى السحابة للمعالجة.

إليك بعض ميزاته الرئيسية:

• إخراج البيانات الوصفية (Metadata): بدلاً من إرسال صور كاملة، فإنه يخرج بيانات وصفية، مما يقلل بشكل كبير من حجم البيانات، وهو ما يقلل من استخدام النطاق الترددي والتكاليف.
• تعزيز الخصوصية: من خلال معالجة البيانات على الجهاز، يعمل IMX500 على تحسين الخصوصية، خاصة في المواقف التي تنطوي على معلومات حساسة، مثل مهام الرؤية الحاسوبية المتعلقة بالأشخاص مثل عد الأشخاص.
• المعالجة في الوقت الفعلي: قدرة المستشعر على التعامل مع البيانات بسرعة تعني أنه يدعم اتخاذ قرارات سريعة وفي الوقت الفعلي، مما يتيح تطبيقات الذكاء الاصطناعي على الحافة مثل الأنظمة المستقلة.

إن IMX500 ليس مجرد مستشعر كاميرا - إنه أداة استشعار قوية تغير كيفية إدراك الأجهزة وتفاعلها مع العالم من حولها. من خلال دمج الذكاء الاصطناعي مباشرة في المستشعر، تجعل Sony الذكاء الاصطناعي على الحافة أكثر سهولة في صناعات مثل السيارات والرعاية الصحية والمدن الذكية. في الأقسام اللاحقة، سنتعمق أكثر في كيفية عمل IMX500 مع نماذج Ultralytics YOLO لتحسين كشف الأجسام ومعالجة البيانات على أجهزة الحافة.

الشكل 2. Wei Tang على المسرح في YOLO Vision 2024 تقدم مستشعر الرؤية الذكي Sony IMX500.

Link to this sectionمنصة AITRIOS من Sony: تبسيط الذكاء الاصطناعي على الحافة#

بعد تقديم مستشعر IMX500، عبرت Wei Tang عن أنه على الرغم من أهمية الأجهزة، إلا أنها ليست كافية بمفردها لمواجهة النطاق الكامل للتحديات التي ينطوي عليها نشر الذكاء الاصطناعي على الحافة. وتحدثت عن كيف أن دمج الذكاء الاصطناعي على أجهزة مثل الكاميرات والمستشعرات يتطلب أكثر من مجرد أجهزة متقدمة - فهو يحتاج إلى برمجيات ذكية لإدارتها. وهنا يأتي دور منصة AITRIOS من Sony، التي توفر حلاً برمجياً موثوقاً مصمماً لجعل نشر الذكاء الاصطناعي على أجهزة الحافة أبسط وأكثر كفاءة.

تعمل AITRIOS كجسر بين نماذج الذكاء الاصطناعي المعقدة وقيود أجهزة الحافة. فهي توفر للمطورين مجموعة من الأدوات لـ نشر نماذج الذكاء الاصطناعي المدربة مسبقاً بسرعة. والأهم من ذلك، أنها تدعم إعادة التدريب المستمر بحيث يمكن لنماذج الذكاء الاصطناعي أن تظل قابلة للتكيف مع التغييرات في العالم الحقيقي.

سلطت Wei الضوء أيضاً على كيفية تبسيط AITRIOS للعملية لأولئك الذين لا يمتلكون خبرة عميقة في الذكاء الاصطناعي، مما يوفر المرونة لتخصيص نماذج الذكاء الاصطناعي لحالات استخدام محددة للذكاء الاصطناعي على الحافة. كما أنها تعالج التحديات الشائعة مثل قيود الذاكرة وانخفاض الأداء، مما يسهل دمج الذكاء الاصطناعي في الأجهزة الصغيرة دون التضحية بالدقة أو السرعة.

الشكل 3. أمثلة على حالات استخدام الذكاء الاصطناعي على الحافة. مصدر الصورة: SONY Semicon | AITRIOS.

Link to this sectionتحسين نماذج YOLO على IMX500#

في الجزء الثاني من العرض، انتقل الحديث إلى Amir، الذي تعمق في الجانب الفني لكيفية قيام Sony بتحسين نماذج YOLO على مستشعر IMX500.

بدأ Amir بالقول: "نماذج YOLO تدعم الحافة وهي سهلة التحسين إلى حد ما، بفضل Glenn والفريق. سأقنعكم بذلك، لا تقلقوا." ثم أوضح Amir أنه بينما ينصب الكثير من التركيز عادة على تحسين نموذج الذكاء الاصطناعي نفسه، فإن هذا النهج غالباً ما يتجاهل شاغلاً حاسماً: عنق زجاجة المعالجة اللاحقة.

أشار Amir إلى أنه في كثير من الحالات، بمجرد اكتمال نموذج الذكاء الاصطناعي لمهمته، يمكن أن تتسبب عملية نقل البيانات والتعامل مع المعالجة اللاحقة على جهاز مضيف في تأخيرات كبيرة. يؤدي نقل البيانات ذهاباً وإياباً بين الجهاز والمضيف إلى زمن انتقال، وهو ما يمكن أن يكون عقبة رئيسية أمام تحقيق أفضل أداء.

الشكل 4. Amir Servi على المسرح في YOLO Vision 2024 يشرح عنق زجاجة المعالجة اللاحقة.

للتغلب على ذلك، أكد Amir على أهمية النظر إلى نظام الطرف إلى الطرف (end-to-end) بالكامل، بدلاً من التركيز فقط على نموذج الذكاء الاصطناعي. ومع مستشعر IMX500، اكتشفوا أن المعالجة اللاحقة كانت عنق الزجاجة الرئيسي الذي يبطئ كل شيء. وشارك أن الاختراق الحقيقي كان في فتح إمكانية كبت القمم غير القصوى (NMS) على الشريحة.

سمح هذا بحدوث المعالجة اللاحقة مباشرة على المستشعر، مما يلغي الحاجة إلى نقل كميات كبيرة من البيانات إلى جهاز مضيف. من خلال تشغيل NMS مباشرة على IMX500، اخترقت Sony ما أسماه Amir "سقف المعالجة اللاحقة الزجاجي"، محققاً أداءً أفضل بكثير وتقليلاً في زمن الانتقال.

الشكل 5. التغلب على عنق زجاجة المعالجة اللاحقة. مصدر الصورة: SONY Semicon | AITRIOS

بعد ذلك، سنلقي نظرة على كيفية مساعدة هذا الابتكار لنماذج YOLO، وخاصة YOLOv8 Nano، في العمل بكفاءة أكبر على أجهزة الحافة، مما يخلق فرصاً جديدة لمعالجة الذكاء الاصطناعي في الوقت الفعلي على أجهزة صغيرة ذات موارد محدودة.

Link to this sectionنماذج YOLOv8 تحقق زيادة في السرعة بمقدار 4 أضعاف مع مستشعر Sony IMX500#

ختاماً للعرض، أوضح Amir كيف تمكنوا من مضاعفة أداء نموذج YOLOv8 Nano أربع مرات عن طريق تشغيل NMS على الحافة. وقد استعرض هذا على جهاز Raspberry Pi 5، الذي تم دمجه مع مستشعر الذكاء الاصطناعي IMX500. قارن Amir بين الأداء عندما تم التعامل مع المعالجة اللاحقة على جهاز مضيف مقابل تشغيلها على شريحة IMX500.

أظهرت النتائج بوضوح تحسناً كبيراً في عدد الإطارات في الثانية (FPS) والكفاءة الإجمالية عندما تمت المعالجة على الشريحة. جعل التحسين كشف الأجسام أسرع وأكثر سلاسة، كما أثبت جدوى معالجة الذكاء الاصطناعي في الوقت الفعلي على أجهزة أصغر ذات موارد محدودة مثل Raspberry Pi.

Link to this sectionأبرز النقاط#

يعيد مستشعر IMX500 من Sony، ومنصة AITRIOS، ونماذج YOLO من Ultralytics صياغة تطوير الذكاء الاصطناعي على الحافة. تعمل معالجة الذكاء الاصطناعي على الشريحة على تقليل نقل البيانات وزمن الانتقال مع تعزيز الخصوصية والأمان والكفاءة. ومن خلال التركيز على النظام بأكمله، وليس فقط نموذج الذكاء الاصطناعي، تجعل هذه الابتكارات الذكاء الاصطناعي على الحافة أكثر سهولة للمطورين ولأولئك الذين لا يمتلكون خبرة عميقة في الذكاء الاصطناعي. ومع استمرار تقدم تقنية الذكاء الاصطناعي على الحافة، فمن المرجح أن تتيح أجهزة أكثر ذكاءً، واتخاذ قرارات أسرع، وحماية أقوى للخصوصية عبر مجموعة واسعة من الصناعات والتطبيقات.

ابقَ على تواصل مع مجتمعنا لمواصلة التعلم حول الذكاء الاصطناعي! تحقق من مستودع GitHub الخاص بنا لاكتشاف كيف يمكننا استخدام الذكاء الاصطناعي لإنشاء حلول مبتكرة في صناعات مختلفة مثل الزراعة والتصنيع. 🚀