الذكاء الاصطناعي البصري يتيح تقنية التعرف على الإيماءات بدون لمس

مع تطور التكنولوجيا، تتطور أيضاً الطريقة التي نتفاعل بها معها. كانت الآلات القديمة تعتمد على الجهد البدني والتحكم الميكانيكي، بينما أدخل علم الحاسوب الحديث شاشات اللمس والإدخال الصوتي.

الآن، أصبح التعرف على الإيماءات جزءاً من الخطوة التالية، حيث تُستخدم الحركات الطبيعية كواجهة للمستخدم. فبإمكان إيماءة بسيطة أو قرصة أو إشارة سريعة باليد التحكم بالفعل في التطبيقات والشاشات والآلات.

يمكن تشغيل هذا التفاعل بدون لمس بواسطة الرؤية الحاسوبية، وهو فرع من الذكاء الاصطناعي يساعد الآلات على رؤية وتفسير ما تلتقطه الكاميرا. يمكن دمج أنظمة ذكاء الرؤية الاصطناعي في الهواتف الذكية، وسماعات الواقع الافتراضي (VR) والواقع المعزز (AR)، والسيارات، وأجهزة المنزل الذكية، حيث يمكن للإيماءات أن تحل محل النقر والضغط والأزرار لتوفير تجربة مستخدم أكثر سلاسة.

أصبح التحكم بدون لمس أكثر شيوعاً في الحياة اليومية. ففي أماكن العمل والمساحات المشتركة، يمكن لتجنب التلامس الجسدي تحسين النظافة والسلامة. كما تتحول العديد من المنتجات الرقمية نحو التفاعل بدون استخدام اليدين، وتوفر الإيماءات طريقة سهلة وبديهية للتحكم في الأجهزة دون لمسها.

في هذه المقالة، سنستكشف ماهية التعرف على الإيماءات، وكيف تجعلها الرؤية الحاسوبية أكثر دقة، وأماكن استخدامها في التطبيقات الواقعية. لنبدأ!

Link to this sectionما هو التعرف على الإيماءات؟#

التعرف على الإيماءات هو تقنية استشعار تتيح للآلات فهم إيماءات الإنسان، مثل إشارات اليد أو حركات الجسم، وتحويلها إلى إجراءات رقمية. بدلاً من النقر على شاشة أو الضغط على أزرار، يمكن للمستخدمين التحكم في الأجهزة من خلال حركات بسيطة وطبيعية.

هذا يجعل التفاعلات تبدو أكثر بديهية، وهو سبب اعتماد الإدخال القائم على الإيماءات عبر العديد من أنظمة التعلم الآلي وأنظمة التحكم القائمة على الذكاء الاصطناعي. على وجه الخصوص، يعد التعرف على إيماءات اليد أحد أكثر أشكال التعرف على الإيماءات استخداماً، وغالباً ما يعتمد على الرؤية الحاسوبية.

ببساطة، يمكن لحل ذكاء الرؤية الاصطناعي رصد الأيدي في بث الكاميرا، وتتبع كيفية تحركها أو تغير شكلها، ومطابقة تلك الأنماط بإيماءة معروفة لتشغيل إجراء على الشاشة.

جزء أساسي من هذه الحلول هو نموذج الرؤية الحاسوبية، والذي يتم تدريبه على مجموعات بيانات من الصور أو مقاطع الفيديو المصنفة التي تعرض إيماءات يد مختلفة. بفضل بيانات التدريب المتنوعة والتقييم الدقيق، يمكن للنموذج التعميم بشكل أفضل عبر مستخدمين وظروف إضاءة وخلفيات مختلفة، مما يساعده على التعرف على الإيماءات بشكل أكثر موثوقية في بيئات العالم الحقيقي.

الشكل 1. البيانات المستخدمة لتدريب نموذج رؤية حاسوبية لاكتشاف النقاط الرئيسية للإيماءات (المصدر)

Link to this sectionاستكشاف أنواع مختلفة من الإيماءات والتفاعل بين الإنسان والحاسوب#

قبل أن نلقي نظرة فاحصة على الدور الذي تلعبه الرؤية الحاسوبية في التعرف على الإيماءات، لنأخذ خطوة للوراء وننظر إلى أنواع الإيماءات التي تتعرف عليها هذه الأنظمة عادةً.

في معظم الحالات، تندرج الإيماءات ضمن فئتين: ثابتة وديناميكية. الإيماءات الثابتة هي وضعيات يد ثابتة، مثل إبهام للأعلى، أو علامة التوقف، أو علامة النصر. نظراً لأنها لا تنطوي على حركة، يمكن غالباً التعرف عليها من إطار صورة واحد.

في الوقت نفسه، تنطوي الإيماءات الديناميكية على حركة بمرور الوقت، مثل التلويح أو التمرير في الهواء. للتعرف عليها، يحتاج نظام ذكاء الرؤية الاصطناعي إلى تحليل إطارات متعددة حتى يتمكن من تتبع كيفية تحرك اليد وفهم اتجاه الإيماءة وتوقيتها.

Link to this sectionدور خوارزميات الرؤية الحاسوبية في التعرف على الإيماءات#

يمكن بناء أنظمة التعرف على الإيماءات بطرق مختلفة. تستخدم بعض أنظمة طرق الإدخال مستشعرات قابلة للارتداء، مثل القفازات أو أجهزة التتبع المثبتة على المعصم، لالتقاط حركة اليد.

يمكن أن تكون هذه الإعدادات دقيقة، لكنها ليست دائماً عملية. يجب ارتداء الأجهزة القابلة للارتداء، وإعدادها، وشحنها، وصيانتها، ويمكن أن تشعر المستخدم بالقيود في المساحات المشتركة أو عند استخدامها يومياً.

ولهذا السبب تعتمد العديد من الأنظمة المتطورة على الرؤية الحاسوبية بدلاً من ذلك. فباستخدام كاميرات RGB القياسية ومستشعرات العمق أو وقت الرحلة، يمكن للأجهزة التقاط حركات اليد والجسم في الوقت الفعلي دون الحاجة إلى ارتداء المستخدمين لأجهزة إضافية. وهذا يجعل التعرف على الإيماءات القائم على الرؤية مناسباً جداً للهواتف الذكية، والسيارات، وأجهزة التلفزيون الذكية، وسماعات AR وVR.

على سبيل المثال، تدعم نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 و Ultralytics YOLO26 القادم مهام مثل اكتشاف الأشياء، وتتبع الأشياء، وتقدير الوضعية. يمكن استخدام هذه الإمكانات لاكتشاف الأيدي في كل إطار، وتتبع حركتها بمرور الوقت، وتحديد النقاط الرئيسية مثل أطراف الأصابع والمفاصل. هذا يجعل من الممكن التعرف على إيماءات مثل راحة اليد المرفوعة للإيقاف المؤقت، أو القرصة للتكبير، أو التمرير للتنقل في القوائم، أو إيماءة التأشير لتحديد عنصر ما في AR وVR.

Link to this sectionمهام الرؤية الحاسوبية المستخدمة للتعرف على التفاعل بين الإنسان والآلة#

إليك نظرة عامة على بعض مهام الرؤية الحاسوبية الرئيسية المستخدمة في التعرف على الإيماءات:

• اكتشاف الأشياء: تُستخدم هذه المهمة لتحديد موقع الأيدي في صورة أو إطار فيديو، عادةً عن طريق رسم صناديق إحاطة حولها. إنها تساعد النظام على التركيز على منطقة الإيماءة وتجاهل تفاصيل الخلفية غير الضرورية.
• تتبع الأشياء: بناءً على اكتشاف الأشياء، تتتبع هذه المهمة الأيدي المكتشفة عبر إطارات متعددة وتحافظ على هويتها بمرور الوقت. وهي مفيدة بشكل خاص للإيماءات الديناميكية، حيث تكون الحركة والاتجاه حاسمين.
• تقدير الوضعية: بدلاً من التركيز على صناديق الإحاطة، يحدد تقدير الوضعية النقاط الرئيسية على اليد، مثل أطراف الأصابع، والمفاصل، والرسغ. تخلق هذه المعالم هيكلاً عظمياً بسيطاً لليد يلتقط مواضع الأصابع والحركة الدقيقة، مما يتيح تصنيفاً أكثر تفصيلاً للإيماءات.
• تجزئة المثيلات: تهدف هذه المهمة إلى فصل كل يد عن الخلفية على مستوى البكسل عن طريق إنشاء قناع لكل يد مرئية. إنها مفيدة في المشاهد المزدحمة، عندما تتداخل الأيدي، أو عندما تظهر أيدٍ متعددة في الإطار.

تستخدم العديد من حلول ذكاء الرؤية الاصطناعي هذه المهام معاً كجزء من خط معالجة واحد. على سبيل المثال، قد يبدأ النظام باكتشاف الأشياء للعثور على الأيدي، ثم يستخدم التتبع لمتابعتها عبر الإطارات للإيماءات الديناميكية.

إذا كانت الإيماءة تعتمد على موضع الإصبع، يمكن لتقدير الوضعية إضافة نقاط رئيسية لمزيد من التفاصيل الدقيقة، بينما يمكن لتجزئة المثيلات المساعدة في عزل كل يد بدقة أكبر في المشاهد المزدحمة أو عندما تتداخل أيدٍ متعددة. بالعمل معاً، توفر هذه الخطوات معلومات الموقع والحركة، مما يجعل التعرف على الإيماءات أكثر دقة وموثوقية.

Link to this sectionكيف يعمل التعرف على الإيماءات القائم على الرؤية#

الآن وبعد أن أصبح لدينا فهم أفضل لمهام الرؤية الحاسوبية الكامنة وراء التعرف على الإيماءات، دعونا نلقي نظرة خطوة بخطوة على كيفية عمل النظام القائم على الرؤية.

يبدأ النظام النموذجي بالتقاط الفيديو من كاميرا، وأحياناً إلى جانب بيانات العمق إذا كان الجهاز يدعم ذلك. ثم تتم معالجة الإطارات مسبقاً باستخدام معالجة الصور لجعلها أسهل للنموذج للتعامل معها باستمرار، مثل تغيير الحجم، أو التثبيت، أو تقليل الضوضاء وضبابية الحركة.

بعد ذلك، يحدد النظام الأيدي في الإطار باستخدام الاكتشاف أو التجزئة ويتابعها بمرور الوقت باستخدام التتبع. إذا كان التطبيق يحتاج إلى تفاصيل أدق، فقد يقوم أيضاً بتشغيل تقدير الوضعية لاستخراج النقاط الرئيسية مثل أطراف الأصابع والمفاصل. باستخدام هذه المعلومات، يصنف النموذج الإيماءة، سواء كانت وضعية إطار واحد مثل الإبهام للأعلى أو نمط حركة مثل التمرير.

أخيراً، يتم تعيين الإيماءة المتعارف عليها إلى إجراء في الواجهة، مثل التمرير، أو التكبير، أو تحديد عنصر، أو ضبط مستوى الصوت، أو التحكم في تفاعلات AR وVR. يمكن أن يختلف خط المعالجة الدقيق، مع استخدام التطبيقات الأبسط لخطوات أقل، بينما تجمع التطبيقات الأكثر تعقيداً بين الاكتشاف والتتبع وتقدير الوضعية لتحسين الدقة.

Link to this sectionتطبيقات التعرف على الإيماءات القائم على الرؤية#

بعد ذلك، دعونا نمر عبر كيفية استخدام التعرف على الإيماءات في تطبيقات العالم الحقيقي لفهم مواضع اليد.

Link to this sectionالتفاعل القائم على الإيماءات مع أنظمة المعلومات والترفيه في السيارات#

بدأ التعرف على الإيماءات في الظهور في واجهات المركبات الذكية، خاصة في أنظمة المعلومات والترفيه. إنها طريقة مريحة للتحكم في ميزات معينة بحركات يد بسيطة، مما قد يقلل من عدد المرات التي يحتاج فيها السائقون للوصول إلى شاشات اللمس أو الأزرار المادية. على سبيل المثال، يمكن استخدام إيماءة سريعة لضبط مستوى الصوت، أو إدارة المكالمات، أو التنقل عبر القوائم التي تظهر على الشاشة.

الشكل 2. سائق يقوم بإيماءات يد في نطاق الكشف لنظام معلومات وترفيه (المصدر)

Link to this sectionالتفاعلات القائمة على الإيماءات في الألعاب#

في الألعاب والتجارب الغامرة، يغير التحكم القائم على الإيماءات كيفية تفاعل الناس مع العوالم الافتراضية. فبدلاً من الاعتماد فقط على وحدات التحكم أو عصي التحكم، يمكن للاعبين استخدام حركات اليد الطبيعية للتنقل في القوائم، أو التقاط الأشياء الافتراضية، أو التحكم في الشخصيات، أو تشغيل إجراءات في لعبة ما.

الشكل 3. ممارسة الألعاب باستخدام إيماءات اليد (المصدر).

يمكن أن يشعر هذا النوع من التفاعل بدون لمس بمزيد من السلاسة، خاصة في AR وVR. ونتيجة لذلك، أصبحت تتبع اليد والتحكم بالإيماءات ميزات شائعة في سماعات VR والواقع المختلط.

Link to this sectionتحكم سلس بالإيماءات لأجهزة المنزل الذكي#

أجهزة المنزل الذكي مثل أجهزة التلفزيون الذكية، ومكبرات الصوت، والأضواء المتصلة بدأت تدعم التحكم القائم على الإيماءات لإجراءات سريعة وبدون لمس. بحركة يد بسيطة، يمكن للمستخدمين تشغيل الأضواء، أو ضبط مستوى الصوت، أو تشغيل أوامر أساسية دون الوصول إلى المفاتيح أو أجهزة التحكم عن بُعد.

على سبيل المثال، في إعدادات الترفيه المنزلي، يمكن للكاميرات ذات العمق المدمجة أو المتصلة التعرف على إيماءات مثل التمرير، أو التأشير، أو رفع اليد. يمكن أن يجعل هذا من الأسهل تصفح القوائم، أو تغيير الإعدادات، أو تأكيد الاختيارات من جميع أنحاء الغرفة. خلف الكواليس، تقوم نماذج الرؤية الحاسوبية بمعالجة بث الكاميرا في الوقت الفعلي لاكتشاف هذه الإيماءات وتفسيرها.

Link to this sectionالتحكم بالإيماءات المُمكّن بالذكاء الاصطناعي في الروبوتات#

فكر في موقف في مصنع يحتاج فيه عامل إلى توجيه روبوت أثناء حمل أجزاء، أو ارتداء قفازات، أو الوقوف على مسافة آمنة من المعدات المتحركة. في هذه الإعدادات، يمكن أن يكون الوصول إلى الأزرار أو لوحة التحكم بطيئاً أو حتى غير آمن.

على النقيض من ذلك، يمكن أن تكون أنظمة التحكم القائمة على الإيماءات وسيلة أكثر عملية وبدون استخدام اليدين للتفاعل مع هذه الآلات. وهذا مفيد بشكل خاص للروبوتات التعاونية، أو cobots، والتي تم تصميمها للعمل جنباً إلى جنب مع الناس.

بدلاً من المشي إلى لوحة التحكم، يمكن للمشغلين استخدام إشارات يدوية بسيطة لبدء، أو إيقاف، أو توجيه روبوت عن بُعد. إنه يقلل من الاعتماد على عناصر التحكم المادية ويمكن أن يدعم سير عمل أكثر أماناً في ساحة المصنع.

يمكن لأنظمة التحكم المتقدمة القائمة على الرؤية والمُمكّنة بنماذج التعلم العميق أو خوارزميات التعلم أيضاً تجاوز الأوامر الأساسية. يمكنها تفسير حركة اليد الأكثر دقة والاستجابة بسلاسة لتغييرات الاتجاه الصغيرة والتوجيه والأتمتة الأكثر دقة.

الشكل 4. يد روبوتية تحلل إيماءة مستخدم (المصدر)

Link to this sectionإيجابيات وسلبيات تقنية التعرف على الإيماءات#

إليك بعض الفوائد الرئيسية لاستخدام تقنية التعرف على الإيماءات:

• تحسين إمكانية الوصول: يمكن أن توفر الإيماءات بديلاً للمستخدمين الذين يجدون صعوبة في استخدام لوحات المفاتيح، أو شاشات اللمس، أو وحدات التحكم.
• تعمل عن بُعد: يمكن التعرف على الإيماءات من جميع أنحاء الغرفة، وهو أمر مفيد لأجهزة التلفزيون الذكية، والأكشاك، والأجهزة المنزلية.
• مرنة عبر الأجهزة: يمكن أن تعمل مجموعات إيماءات مماثلة عبر الهواتف، والسيارات، والشاشات الذكية، وسماعات AR أو VR، مما يجعل التفاعل متسقاً.

في الوقت نفسه، هناك بعض التحديات الواقعية التي يمكن أن تؤثر على الدقة والاتساق. إليك بعض العوامل التي يجب مراعاتها:

• مشكلات الإضاءة وجودة الكاميرا: يمكن أن تؤدي الإضاءة المنخفضة، أو الوهج، أو الظلال، أو الكاميرات منخفضة الدقة إلى تقليل أداء التعرف. وهذا بدوره يمكن أن يؤثر على التحكم في الحركة.
• الاختلاف بين المستخدمين: يقوم الناس بشكل طبيعي بأداء الإيماءات بشكل مختلف، ويمكن أن تؤثر الاختلافات في حجم اليد، أو مرونة الأصابع، أو الإكسسوارات على الدقة.
• قيود الحركة السريعة: يمكن للإيماءات السريعة أن تسبب ضبابية الحركة أو تجعل النموذج يفقد إطارات رئيسية، خاصة في الكاميرات ذات معدل الإطارات المنخفض.

Link to this sectionأبرز النقاط#

انتقلت تقنية التعرف على الإيماءات إلى ما وراء مختبرات الأبحاث وهي الآن جزء من الأجهزة والابتكارات اليومية. على وجه التحديد، تمكّن الرؤية الحاسوبية التحكم بدون لمس في الألعاب، والروبوتات، والمنازل الذكية، وأنظمة السيارات. مع تحسن نماذج الرؤية، من المحتمل أن تصبح واجهات التحكم بدون لمس هذه أسهل في البناء وأكثر استخداماً على نطاق واسع.

اكتشف مجتمعنا و مستودع GitHub الخاص بنا لمعرفة المزيد عن نماذج الرؤية الحاسوبية. استكشف صفحات حلولنا لقراءة المزيد عن تطبيقات مثل الذكاء الاصطناعي في الزراعة و الرؤية الحاسوبية في الخدمات اللوجستية. تحقق من خيارات الترخيص الخاصة بنا وابدأ في بناء نموذج ذكاء الرؤية الاصطناعي الخاص بك.