تعزيز تقدير النقاط الرئيسية لليد باستخدام Ultralytics YOLO11

في الآونة الأخيرة، حظي مترجمو لغة الإشارة في مباراة Super Bowl باهتمام كبير. عندما تشاهدهم يغنون أغنية فنانك المفضل على التلفاز، يمكنك فهمهم إذا كنت تعرف لغة الإشارة لأن عقلك يعالج حركات أيديهم. ولكن ماذا لو تمكن الكمبيوتر من فعل الشيء نفسه؟ بفضل حلول تتبع اليد القائمة على الذكاء الاصطناعي، أصبح بإمكان الآلات تتبع وتفسير حركات اليد بدقة مذهلة.

في صميم هذه الحلول يوجد computer vision، وهو فرع فرعي من الذكاء الاصطناعي يمكن الآلات من معالجة وفهم المعلومات المرئية. من خلال تحليل الصور والفيديوهات، يساعدها الذكاء الاصطناعي البصري على اكتشاف الكائنات، وتتبع الحركات، التعرف على الإيماءات المعقدة بدقة ملحوظة.

على سبيل المثال، يمكن تدريب نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 لاكتشاف وتحليل النقاط الرئيسية لليد في الوقت الفعلي باستخدام تقدير الوضعية. من خلال القيام بذلك، يمكن استخدام هذه نماذج لتطبيقات مثل التعرف على الإيماءات، ترجمة لغة الإشارة، وتفاعلات الواقع المعزز والافتراضي (AR/VR).

في هذه المقالة، سنستكشف كيف تتيح لنا نماذج Ultralytics YOLO11 تتبع اليدين باستخدام الذكاء الاصطناعي، ومجموعات البيانات المستخدمة للتدريب، وكيفية التدريب المخصص للنموذج لتقدير وضعية اليد. سنلقي نظرة أيضاً على التطبيقات الواقعية. لنبدأ الآن!

فهم الكشف عن النقاط الرئيسية لليد باستخدام الذكاء الاصطناعي#

يمكن استخدام الذكاء الاصطناعي للتعرف على حركات اليد وتتبعها في البيانات المرئية من خلال تحديد النقاط الرئيسية مثل المعصم، وأطراف الأصابع، ومفاصل الأصابع. أحد النهج المعروفة باسم pose estimation، يساعد الحواسيب على فهم حركة الإنسان من خلال تعيين النقاط الرئيسية وتحليل كيف تتغير بمرور الوقت. يسمح هذا لأنظمة الذكاء الاصطناعي بتفسير وضعية الجسم، والإيماءات، وأنماط الحركة بدقة عالية.

Computer vision models تجعل هذا ممكناً من خلال تحليل الصور أو الفيديوهات لتحديد النقاط الرئيسية على اليد وتتبع حركتها. بمجرد تعيين هذه النقاط، يمكن للذكاء الاصطناعي التعرف على الإيماءات من خلال تحليل العلاقات المكانية بين النقاط الرئيسية وكيفية تغيرها بمرور الوقت.

على سبيل المثال، إذا انخفضت المسافة بين الإبهام والسبابة، يمكن للذكاء الاصطناعي تفسير ذلك كحركة قرص. وبالمثل، يساعد تتبع كيفية تحرك النقاط الرئيسية في تسلسلات على تحديد إيماءات اليد المعقدة وحتى التنبؤ بالحركات المستقبلية.

Fig 1. مثال على التعرف على النقاط الرئيسية في اليد باستخدام الرؤية الحاسوبية.

من المثير للاهتمام أن تقدير الوضعية لتتبع اليد قد فتح إمكانيات مثيرة، بدءاً من التحكم بدون استخدام اليدين في الأجهزة الذكية وصولاً إلى تحسين الدقة الروبوتية والمساعدة في تطبيقات الرعاية الصحية. مع استمرار تطور الذكاء الاصطناعي والرؤية الحاسوبية، من المرجح أن يلعب تتبع اليد دوراً أكبر في جعل التكنولوجيا أكثر تفاعلية، وسهولة في الوصول، وبديهية في الحياة اليومية.

استكشاف Ultralytics YOLO11 لتقدير الوضعيات#

قبل أن نتعمق في كيفية إنشاء حل لتتبع اليدين بالذكاء الاصطناعي، دعنا نلقي نظرة عن قرب على تقدير الوضعيات وكيف تدعم Ultralytics YOLO11 مهمة الرؤية الحاسوبية هذه. على عكس اكتشاف الكائنات القياسي، الذي يحدد الكائنات بأكملها، يركز تقدير الوضعيات على اكتشاف النقاط المرجعية الرئيسية - مثل المفاصل، أو الأطراف، أو الحواف - لتحليل الحركة والهيئة.

على وجه التحديد، تم تصميم Ultralytics YOLO11 لتقدير الوضعية في الوقت الفعلي. من خلال الاستفادة من كل من الأساليب من أعلى إلى أسفل ومن أسفل إلى أعلى، فإنه يكتشف الأشخاص ويقدر النقاط الرئيسية بكفاءة في خطوة واحدة، متفوقاً على النماذج السابقة في السرعة والدقة.

بشكل افتراضي، يأتي Ultralytics YOLO11 مدرباً مسبقاً على مجموعة بيانات COCO-Pose ويمكنه التعرف على النقاط الرئيسية في جسم الإنسان، بما في ذلك الرأس، والكتفين، والمرفقين، والرسغين، والوركين، والركب، والكاحلين.

Fig 2. استخدام YOLO11 لتقدير وضعية الإنسان.

إلى جانب تقدير وضعية الإنسان، يمكن تدريب Ultralytics YOLO11 بشكل مخصص لاكتشاف النقاط الرئيسية على مجموعة متنوعة من الكائنات، سواء كانت حية أو جامدة. تجعل هذه المرونة من YOLO11 خيارًا رائعًا لمجموعة واسعة من التطبيقات.

نظرة عامة على مجموعة بيانات النقاط الرئيسية لليد (Hand Keypoints)#

الخطوة الأولى في التدريب المخصص للنموذج هي جمع البيانات والتعليق عليها أو العثور على مجموعة بيانات موجودة تناسب احتياجات المشروع. على سبيل المثال، تعتبر مجموعة بيانات Hand Keypoints نقطة بداية جيدة لتدريب نماذج الذكاء الاصطناعي البصري لتتبع اليد وتقدير الوضعية. مع 26,768 صورة معلقة، فإنها تلغي الحاجة إلى التسميد اليدوي.

يمكن استخدامها لتدريب نماذج مثل Ultralytics YOLO11 للتعلم بسرعة كيفية اكتشاف وتتبع حركات اليد. تتضمن مجموعة البيانات 21 نقطة رئيسية لكل يد، تغطي المعصم، والأصابع، والمفاصل. أيضاً، تم إنشاء تعليقات مجموعة البيانات باستخدام Google MediaPipe، وهي أداة لتطوير الحلول القائمة على الذكاء الاصطناعي لمعالجة الوسائط في الوقت الفعلي، مما يضمن كشفاً دقيقاً وموثوقاً للنقاط الرئيسية.

Fig 3. النقاط الرئيسية الـ 21 المضمنة في مجموعة بيانات Hand Keypoints.

يوفر استخدام مجموعة بيانات منظمة كهذه الوقت ويسمح للمطورين بالتركيز على تدريب نماذجهم وضبطها بدلاً من جمع البيانات وتصنيفها. في الواقع، مجموعة البيانات مقسمة بالفعل إلى مجموعات فرعية للتدريب (18,776 صورة) والتحقق (7,992 صورة)، مما يسهل تقييم أداء النموذج.

كيفية تدريب Ultralytics YOLO11 لتقدير وضعية اليد#

تدريب YOLO11 لتقدير وضعية اليد هو عملية مباشرة، خاصة مع Ultralytics Python package، مما يجعل إعداد النموذج وتدريبه أسهل. نظراً لأن مجموعة بيانات Hand Keypoints مدعومة بالفعل في خط أنابيب التدريب، فيمكن استخدامها فوراً دون تنسيق إضافي، مما يوفر الوقت والجهد.

إليك كيفية عمل عملية التدريب:

• إعداد البيئة: الخطوة الأولى هي تثبيت حزمة Ultralytics Python.
• تحميل مجموعة بيانات النقاط الرئيسية لليد: يدعم Ultralytics YOLO11 مجموعة البيانات هذه بشكل أصلي، بحيث يمكن تنزيلها وإعدادها تلقائياً.
• استخدام نموذج مدرب مسبقاً: يمكنك البدء بنموذج تقدير الوضعيات Ultralytics YOLO11 المدرب مسبقاً، مما يساعد في تحسين الدقة وتسريع عملية التدريب.
• تدريب النموذج: يتعلم النموذج اكتشاف وتتبع النقاط الرئيسية لليد من خلال المرور بدورات تدريبية متعددة.
• مراقبة الأداء: توفر حزمة Ultralytics أيضاً أدوات مدمجة لتتبع المقاييس الرئيسية مثل الدقة والخسارة، مما يساعد على ضمان تحسن النموذج بمرور الوقت.
• الحفظ والنشر: بمجرد التدريب، يمكن exported النموذج واستخدامه لتطبيقات تتبع اليد في الوقت الفعلي.

تقييم نموذجك المدرب مخصصاً#

من خلال خطوات إنشاء نموذج مخصص، ستلاحظ أن مراقبة الأداء ضرورية. بالإضافة إلى تتبع التقدم أثناء التدريب، يعد تقييم النموذج بعد ذلك أمراً بالغ الأهمية للتأكد من أنه يكتشف ويتبع النقاط الرئيسية لليد بدقة.

تساعد performance metrics الرئيسية مثل الدقة، وقيم الخسارة، ومتوسط الدقة الوسطي (mAP) في تقييم مدى جودة أداء النموذج. توفر حزمة Ultralytics Python أدوات مدمجة لتصور النتائج ومقارنة التنبؤات بالتعليقات الحقيقية، مما يسهل رصد مجالات التحسين.

لفهم أداء النموذج بشكل أفضل، يمكنك التحقق من رسوم التقييم البيانية مثل منحنيات الخسارة، ورسوم الدقة والاستدعاء، ومصفوفات الارتباك، والتي يتم إنشاؤها تلقائياً في سجلات التدريب.

تساعد هذه الرسوم البيانية في تحديد مشكلات مثل الإفراط في التجهيز (عندما يحفظ النموذج بيانات التدريب ولكنه يواجه صعوبة مع بيانات جديدة) أو نقص التجهيز (عندما يفشل النموذج في تعلم الأنماط جيداً بما يكفي لأداء بدقة) وتوجيه التعديلات لتحسين الدقة. أيضاً، يعد اختبار النموذج على صور أو مقاطع فيديو جديدة أمراً مهماً لمعرفة مدى جودة عمله في سيناريوهات العالم الحقيقي.

تطبيقات حلول تتبع اليد القائمة على الذكاء الاصطناعي#

بعد ذلك، دعنا نستعرض بعض التطبيقات الأكثر تأثيرًا لـ hand keypoints estimation with Ultralytics YOLO11.

التعرف على الإيماءات فيเวล الفعلي (Real-time) باستخدام Ultralytics YOLO11#

لنفترض أنه يمكنك ضبط مستوى الصوت على تلفازك ببساطة تلويح يدك أو التنقل في نظام منزل ذكي بسحب بسيط في الهواء. التعرف على الإيماءات في الوقت الفعلي المدعوم بواسطة Ultralytics YOLO11 يجعل هذه التفاعلات بدون لمس ممكنة من خلال اكتشاف حركات اليد بدقة في الوقت الفعلي.

يعمل هذا باستخدام كاميرات الذكاء الاصطناعي لتتبع النقاط الرئيسية على يدك وتفسير الإيماءات كأوامر. تلتقط كاميرات استشعار العمق، أو مستشعرات الأشعة تحت الحمراء، أو حتى كاميرات الويب العادية حركات اليد، بينما يمكن لـ Ultralytics YOLO11 معالجة البيانات للتعرف على الإيماءات المختلفة. على سبيل المثال، يمكن لمثل هذا النظام التمييز بين سحب لتغيير أغنية، أو قرصة للتكبير، أو حركة دائرية لضبط مستوى الصوت.

الكشف عن النقاط الرئيسية لليد باستخدام الذكاء الاصطناعي للتعرف على لغة الإشارة#

يمكن لحلول الذكاء الاصطناعي لتتبع اليدين دعم التواصل السلس بين شخص أصم وشخص لا يعرف لغة الإشارة. على سبيل المثال، يمكن استخدام الأجهزة الذكية المدمجة بالكاميرات وUltralytics YOLO11 لترجمة لغة الإشارة فورياً إلى نص أو كلام.

بفضل التطورات مثل Ultralytics YOLO11، تصبح أدوات ترجمة لغة الإشارة أكثر دقة وسهولة في الوصول إليها. يؤثر هذا على تطبيقات مثل التكنولوجيا المساعدة، وخدمات الترجمة الحية، والمنصات التعليمية. يمكن للذكاء الاصطناعي أن يساعد في سد فجوات التواصل وتعزيز الشمولية في أماكن العمل، والمدارس، والأماكن العامة.

الرؤية الحاسوبية لتتبع اليد: تحسين تجارب الواقع المعزز والواقع الافتراضي#

هل سبق لك أن لعبت لعبة واقع افتراضي (VR) حيث يمكنك الإمساك بالأجسام دون استخدام وحدة تحكم؟ يجعل تتبع اليد المدعوم بالرؤية الحاسوبية هذا ممكناً من خلال السماح للمستخدمين بالتفاعل بشكل طبيعي في بيئات augmented reality (AR) والواقع الافتراضي.

Fig 4. يعتبر تتبع اليد جزءًا أساسيًا من تطبيقات الواقع المعزز والواقع الافتراضي.

مع تقدير النقاط الرئيسية لليد باستخدام نماذج مثل Ultralytics YOLO11، يتتبع الذكاء الاصطناعي الحركات في الوقت الفعلي، مما يتيح إيماءات مثل القرص، والالتقاط، والتمرير. هذا يعزز الألعاب، والتدريب الافتراضي، والتعاون عن بُعد، مما يجعل التفاعلات أكثر بديهية. مع تحسن تكنولوجيا تتبع اليد، ستصبح تجارب الواقع المعزز والواقع الافتراضي أكثر انغماساً وواقعية.

أبرز النقاط#

يجعل تقدير النقاط الرئيسية لليد باستخدام Ultralytics YOLO11 حلول تتبع اليد القائمة على الذكاء الاصطناعي أكثر سهولة وموثوقية. من التعرف على الإيماءات في الوقت الفعلي إلى ترجمة لغة الإشارة وتطبيقات الواقع المعزز والواقع الافتراضي، تفتح الرؤية الحاسوبية إمكانيات جديدة في التفاعل بين الإنسان والكمبيوتر.

أيضاً، تساعد عمليات التدريب المخصص والضبط المبسطة المطورين على بناء نماذج فعالة لمختلف استخدامات العالم الحقيقي. مع تطور تكنولوجيا الرؤية الحاسوبية، يمكننا توقع المزيد من الابتكارات في مجالات مثل الرعاية الصحية، والروبوتات، والألعاب، والأمن.

تفاعل مع our community واستكشف تطورات الذكاء الاصطناعي على GitHub repository. واكتشف تأثير AI in manufacturing وcomputer vision in healthcare من خلال صفحات حلولنا. واستكشف our licensing plans وابدأ رحلتك في عالم الذكاء الاصطناعي اليوم!