تعزيز الذكاء الاصطناعي الطرفي باستخدام Sony IMX500 وAITRIOS

يتيح الذكاء الاصطناعي الطرفي تشغيل نماذج الذكاء الاصطناعي (AI) مباشرة على أجهزة مثل الهواتف الذكية والكاميرات والطائرات المسيّرة. وتتمثل ميزته الرئيسية في دعم اتخاذ قرارات أسرع وفي الوقت الفعلي دون الاعتماد على السحابة. وتشير الدراسات بالفعل إلى أن استخدام الذكاء الاصطناعي على المنصات الطرفية يمكن أن يرفع الكفاءة التشغيلية بنسبة تصل إلى 40%.

جعلت التطورات الحديثة في الذكاء الاصطناعي الطرفي، ولا سيما في مجال الرؤية الحاسوبية، هذا المجال محورًا رئيسيًا في YOLO Vision 2024 (YV24)، وهو الحدث الهجين السنوي الذي تنظمه Ultralytics ويجمع عشاق الذكاء الاصطناعي وخبراءه لاستكشاف أحدث المستجدات في الذكاء الاصطناعي للرؤية. وكان من أبرز فعاليات الحدث الكلمة الرئيسية لشركة Sony، حيث استعرضت حلولها الجديدة في أجهزة الذكاء الاصطناعي وبرمجياته. وسُلّط الضوء على مستشعر IMX500 ومنصة AITRIOS، وأوضحت Sony كيف تجعل هذه الابتكارات نشر نماذج Ultralytics YOLO، مثل Ultralytics YOLO11 وUltralytics YOLOv8، على الأجهزة الطرفية أسهل وأكثر كفاءة.

أدار الجلسة Wei Tang، مدير تطوير الأعمال المتخصص في حلول التصوير لدى Sony، وAmir Servi، مدير منتجات التعلّم العميق الطرفي، الذي يتمتع بخبرة في نشر نماذج التعلّم العميق على الأجهزة الطرفية.

سنعود في هذه المقالة إلى محاضرة Sony في YV24، ونستكشف كيف يحسّن مستشعر IMX500 ومنصة AITRIOS استخدام نماذج YOLO لمعالجة الذكاء الاصطناعي بسرعة أكبر وفي الوقت الفعلي على الأجهزة الطرفية.

رؤية Sony: إتاحة الذكاء الاصطناعي للجميع على الأجهزة الطرفية#

افتتحت Wei Tang الجلسة بالحديث عن هدف Sony المتمثل في جعل الذكاء الاصطناعي الطرفي متاحًا للجميع، كما فعلت في مجال التصوير قبل سنوات. وأكدت تركيز Sony حاليًا على إتاحة الذكاء الاصطناعي المتقدم للرؤية لعدد أكبر من الأشخاص عبر الحوسبة الطرفية. ومن العوامل الدافعة لذلك الأثر الإيجابي الذي يمكن أن يحققه الذكاء الاصطناعي الطرفي للبيئة. فمعالجة البيانات مباشرة على الأجهزة بدلًا من الاعتماد على مراكز بيانات ضخمة تساعد الحوسبة الطرفية على خفض استهلاك الطاقة وتقليل انبعاثات الكربون. وهذا نهج أكثر ذكاءً ومراعاة للبيئة، ويتوافق مع التزام Sony ببناء تقنيات لا تعمل على نحو أفضل فحسب، بل تساعد أيضًا في إيجاد مستقبل أكثر استدامة.

ثم أوضحت Wei كيف تطور Sony Semiconductor Solutions، وهي قسم Sony المتخصص في تقنيات التصوير والاستشعار، مستشعرات صور متقدمة. وتُستخدم هذه المستشعرات في مجموعة متنوعة من الأجهزة، إذ تحوّل الضوء إلى إشارات إلكترونية لالتقاط الصور. ومع شحن أكثر من 1.2 مليار مستشعر سنويًا، توجد مستشعرات Sony في نحو نصف الهواتف المحمولة في العالم، مما يجعلها لاعبًا رئيسيًا في صناعة التصوير.

الشكل 1. أمثلة على مستشعرات الصور من Sony.

استنادًا إلى هذه الخبرة، تمضي Sony الآن قدمًا بتحويل هذه المستشعرات من أجهزة لالتقاط الصور إلى أدوات ذكية قادرة على معالجة البيانات في الوقت الفعلي، بما يتيح استخلاص رؤى مدعومة بالذكاء الاصطناعي مباشرة على الأجهزة. وقبل مناقشة حلول الأجهزة والبرمجيات التي تستخدمها Sony لدعم هذا التحول، لنتعرف إلى تحديات الذكاء الاصطناعي الطرفي التي تسعى هذه الابتكارات إلى حلها.

تحديات معالجة الصور بالذكاء الاصطناعي على الأجهزة الطرفية#

ينطوي تطوير حلول الذكاء الاصطناعي الطرفي على بعض التحديات الرئيسية، ولا سيما عند العمل بأجهزة مثل الكاميرات والمستشعرات. فإمكانات الطاقة والمعالجة محدودة في كثير من هذه الأجهزة، مما يصعّب تشغيل نماذج الذكاء الاصطناعي المتقدمة بكفاءة.

فيما يلي بعض القيود الرئيسية الأخرى:

• تعقيد البرمجيات: قد يكون تكييف نماذج الذكاء الاصطناعي للعمل عبر أجهزة طرفية متنوعة ذات تكوينات مختلفة للأجهزة أمرًا معقدًا ويتطلب تعديلات وتحسينات.
• اختناقات المعالجة اللاحقة: غالبًا ما يحدث تأخير عند نقل كميات كبيرة من البيانات من الجهاز إلى المضيف لإجراء المعالجة اللاحقة. وكثيرًا ما تستغرق هذه العملية وقتًا أطول من استدلال النموذج نفسه.
• انفجار البيانات: مع استمرار عدد كبير من أجهزة إنترنت الأشياء في إنشاء البيانات، قد يصبح حجم البيانات الواجب معالجتها محليًا هائلًا، مما يزيد الضغط على الأجهزة الطرفية.

التعرّف على مستشعر الرؤية الذكي Sony IMX500#

يُعد مستشعر الرؤية الذكي IMX500 من Sony مكونًا أساسيًا في معالجة الذكاء الاصطناعي الطرفي. وتصفه Sony بأنه أول مستشعر رؤية ذكي في العالم مزود بقدرات ذكاء اصطناعي على الشريحة. ويساعد هذا المستشعر على تجاوز كثير من تحديات الذكاء الاصطناعي الطرفي، بما في ذلك اختناقات معالجة البيانات ومخاوف الخصوصية وقيود الأداء.

في حين لا تفعل المستشعرات الأخرى سوى تمرير الصور والإطارات، يروي IMX500 قصة متكاملة. فهو يعالج البيانات مباشرة على المستشعر، ما يتيح للأجهزة استخلاص الرؤى في الوقت الفعلي. وخلال الجلسة، قالت Wei Tang: "من خلال الاستفادة من تقنيات مستشعرات الصور المتقدمة لدينا، نهدف إلى تمكين جيل جديد من التطبيقات القادرة على تحسين الحياة اليومية." صُمم IMX500 لتحقيق هذا الهدف، إذ يغيّر طريقة تعامل الأجهزة مع البيانات مباشرة على المستشعر، دون الحاجة إلى إرسالها إلى السحابة لمعالجتها.

فيما يلي بعض ميزاتها الرئيسية:

• إخراج البيانات الوصفية: بدلًا من إرسال الصور كاملة، يخرج المستشعر بيانات وصفية، ما يقلل حجم البيانات بدرجة كبيرة، ويخفض استخدام النطاق الترددي والتكاليف.
• تعزيز الخصوصية: من خلال معالجة البيانات على الجهاز، يحسن IMX500 الخصوصية، لا سيما عند التعامل مع المعلومات الحساسة، مثل مهام الرؤية الحاسوبية المتعلقة بالبشر، كـعدّ الأشخاص.
• المعالجة الآنية: تعني قدرة المستشعر على معالجة البيانات بسرعة دعمه اتخاذ قرارات سريعة وآنية، ما يتيح تطبيقات الذكاء الاصطناعي الطرفي، مثل الأنظمة المستقلة.

ليس IMX500 مجرد مستشعر كاميرا، بل أداة استشعار قوية تغيّر طريقة إدراك الأجهزة للعالم من حولها وتفاعلها معه. ومن خلال دمج الذكاء الاصطناعي مباشرة في المستشعر، تجعل Sony الذكاء الاصطناعي الطرفي أكثر إتاحة لقطاعات مثل السيارات والرعاية الصحية والمدن الذكية. وفي الأقسام التالية، سنتعمق في كيفية عمل IMX500 مع نماذج Ultralytics YOLO لتحسين اكتشاف الأجسام ومعالجة البيانات على الأجهزة الطرفية.

الشكل 2. Wei Tang على المنصة في YOLO Vision 2024 وهي تقدم مستشعر الرؤية الذكي Sony IMX500.

منصة AITRIOS من Sony: تبسيط الذكاء الاصطناعي الطرفي#

بعد تقديم مستشعر IMX500، أوضحت Wei Tang أنه رغم أهمية الأجهزة، فإنها لا تكفي وحدها لمواجهة النطاق الكامل للتحديات المرتبطة بـنشر الذكاء الاصطناعي الطرفي. وتحدثت عن أن دمج الذكاء الاصطناعي في أجهزة مثل الكاميرات والمستشعرات يتطلب أكثر من مجرد أجهزة متقدمة؛ فهو يحتاج إلى برمجيات ذكية لإدارتها. وهنا يأتي دور منصة AITRIOS من Sony، التي توفر حلًا برمجيًا موثوقًا مصممًا لتسهيل نشر الذكاء الاصطناعي على الأجهزة الطرفية وزيادة كفاءته.

تعمل AITRIOS جسرًا بين نماذج الذكاء الاصطناعي المعقدة وإمكانات الأجهزة الطرفية المحدودة. وتوفر للمطورين مجموعة من الأدوات لنشر نماذج الذكاء الاصطناعي المدرّبة مسبقًا بسرعة. والأهم من ذلك، أنها تدعم إعادة التدريب المستمرة كي تظل نماذج الذكاء الاصطناعي قابلة للتكيف مع التغيرات في العالم الحقيقي.

كما سلطت Wei الضوء على كيفية تبسيط AITRIOS للعملية لمن لا يملكون خبرة عميقة في الذكاء الاصطناعي، إذ توفر لهم مرونة تخصيص نماذج الذكاء الاصطناعي لحالات استخدام محددة على الأجهزة الطرفية. وتعالج المنصة أيضًا تحديات شائعة مثل قيود الذاكرة وتراجع الأداء، مما يسهل دمج الذكاء الاصطناعي في الأجهزة الأصغر حجمًا دون التضحية بالدقة أو السرعة.

الشكل 3. أمثلة على حالات استخدام الذكاء الاصطناعي الطرفي. مصدر الصورة: SONY Semicon | AITRIOS.

تحسين نماذج YOLO على IMX500#

في الجزء الثاني من المحاضرة، انتقل الميكروفون إلى Amir، الذي تناول الجانب التقني لتحسين Sony نماذج YOLO على مستشعر IMX500.

استهل Amir حديثه قائلًا: «تتيح نماذج YOLO الذكاء الاصطناعي الطرفي، كما يسهل تحسينها إلى حد كبير بفضل Glenn والفريق. سأقنعكم بذلك، فلا تقلقوا». ثم أوضح Amir أنه على الرغم من تركيز الجهود عادةً على تحسين نموذج الذكاء الاصطناعي نفسه، فإن هذا النهج غالبًا ما يغفل مسألة أساسية: اختناقات المعالجة اللاحقة.

أشار Amir إلى أن نقل البيانات ومعالجة ما بعد المعالجة على جهاز مضيف قد يتسببان في كثير من الحالات بتأخيرات كبيرة بعد إتمام نموذج الذكاء الاصطناعي مهمته. ويؤدي هذا التبادل ذهابًا وإيابًا للبيانات بين الجهاز والمضيف إلى زمن استجابة قد يشكل عقبة كبيرة أمام تحقيق أفضل أداء.

الشكل 4. Amir Servi على منصة YOLO Vision 2024 يشرح اختناقات ما بعد المعالجة.

لمعالجة هذه المشكلة، شدد Amir على أهمية النظر إلى النظام بأكمله من البداية إلى النهاية، بدلًا من التركيز على نموذج الذكاء الاصطناعي وحده. واكتشفوا أن المعالجة اللاحقة كانت الاختناق الرئيسي الذي يبطئ كل شيء باستخدام مستشعر IMX500. وأوضح أن الإنجاز الحقيقي تمثل في إتاحة كبت غير القيم القصوى (NMS) على الشريحة.

أتاح ذلك إجراء المعالجة اللاحقة مباشرةً على المستشعر، وألغى الحاجة إلى نقل كميات كبيرة من البيانات إلى جهاز مضيف. ومن خلال تشغيل NMS مباشرةً على IMX500، تجاوزت Sony ما سماه Amir «السقف الزجاجي للمعالجة اللاحقة»، محققةً أداءً أفضل بكثير وخفضًا في زمن الاستجابة.

الشكل 5. تجاوز اختناق المعالجة اللاحقة. مصدر الصورة: SONY Semicon | AITRIOS

بعد ذلك، سنلقي نظرة على كيفية استفادة نماذج YOLO من هذا الابتكار، ولا سيما Ultralytics YOLOv8 Nano، للعمل بكفاءة أكبر على الأجهزة الطرفية، مما يفتح فرصًا جديدة لمعالجة الذكاء الاصطناعي في الوقت الفعلي على الأجهزة الأصغر ذات الموارد المحدودة.

تحقق نماذج Ultralytics YOLOv8 زيادة في السرعة بمقدار 4 أضعاف باستخدام IMX500 من Sony#

واختتامًا للمحاضرة على نحو مميز، أوضح Amir كيف تمكنوا من مضاعفة أداء نموذج Ultralytics YOLOv8 Nano أربع مرات عبر تشغيل NMS على الجهاز الطرفي. واستعرض ذلك على جهاز Raspberry Pi 5 المدمج مع مستشعر الذكاء الاصطناعي IMX500. وقارن Amir الأداء عندما تُجرى المعالجة اللاحقة على جهاز مضيف وعندما تُجرى على شريحة IMX500.

أظهرت النتائج بوضوح تحسنًا كبيرًا في عدد الإطارات في الثانية (FPS) والكفاءة الإجمالية عند إجراء المعالجة على الشريحة. وجعل هذا التحسين اكتشاف الأجسام أسرع وأكثر سلاسة، كما برهن على جدوى معالجة الذكاء الاصطناعي في الوقت الفعلي على الأجهزة الأصغر ذات الموارد المحدودة، مثل Raspberry Pi.

أبرز النقاط#

تعيد مستشعر IMX500 من Sony ومنصة AITRIOS ونماذج Ultralytics YOLO، التي اجتمعت بفضل الشراكة بين Ultralytics وSony، تشكيل تطوير الذكاء الاصطناعي الطرفي. وتقلل معالجة الذكاء الاصطناعي على الشريحة نقل البيانات وزمن الاستجابة، مع تعزيز الخصوصية والأمان والكفاءة. ومن خلال التركيز على النظام بأكمله، لا على نموذج الذكاء الاصطناعي وحده، تجعل هذه الابتكارات الذكاء الاصطناعي الطرفي أكثر إتاحة للمطورين ولمن لا يملكون خبرة عميقة في الذكاء الاصطناعي. ومع استمرار تطور تقنيات الذكاء الاصطناعي الطرفي، يُرجح أن تتيح أجهزة أذكى واتخاذ قرارات أسرع وحماية أقوى للخصوصية عبر مجموعة واسعة من القطاعات والتطبيقات.

ابقوا على تواصل مع مجتمعنا لمواصلة التعلّم عن الذكاء الاصطناعي! واطّلعوا على مستودع GitHub لاكتشاف كيف يمكننا استخدام الذكاء الاصطناعي لإنشاء حلول مبتكرة في قطاعات متنوعة، مثل الزراعة والتصنيع.