ذكاء الرؤية يتيح تقنية التعرّف على الإيماءات دون لمس

مع تطور التكنولوجيا، تتطور كذلك طريقة تفاعلنا معها. فقد اعتمدت الآلات الأولى على الجهد البدني وأدوات التحكم الميكانيكية، بينما أدخلت علوم الحاسوب الحديثة الشاشات اللمسية والإدخال الصوتي.

واليوم، يشكل التعرف على الإيماءات خطوة تالية، إذ يستخدم الحركات الطبيعية واجهةً للمستخدم. فقد أصبح من الممكن بالفعل التحكم بالتطبيقات والشاشات والآلات بحركة تلويح بسيطة أو ضم الأصابع أو إشارة سريعة باليد.

يمكن تشغيل هذا التفاعل من دون لمس باستخدام الرؤية الحاسوبية، وهي فرع من الذكاء الاصطناعي يساعد الآلات على رؤية ما تلتقطه الكاميرا وتفسيره. ويمكن دمج أنظمة الذكاء الاصطناعي البصري في الهواتف الذكية وسماعات الواقع الافتراضي (VR) والواقع المعزز (AR) والسيارات والأجهزة المنزلية الذكية، حيث تحل الإيماءات محل النقرات والضغط على الأزرار لتوفير تجربة استخدام أكثر سلاسة.

أصبح التحكم من دون لمس أكثر شيوعًا في الحياة اليومية. وفي أماكن العمل والمساحات المشتركة، يمكن أن يؤدي تجنب التلامس الجسدي إلى تحسين النظافة والسلامة. كما تتجه منتجات رقمية كثيرة إلى التفاعل من دون استخدام اليدين، وتوفر الإيماءات طريقة سهلة وبديهية للتحكم في الأجهزة دون لمسها.

في هذه المقالة، سنتناول مفهوم التعرف على الإيماءات، وكيف تجعل الرؤية الحاسوبية هذا التعرف أدق، ومجالات استخدامه في التطبيقات الواقعية.

ما التعرف على الإيماءات؟#

التعرف على الإيماءات تقنية استشعار تتيح للآلات فهم الإيماءات البشرية، مثل إشارات اليد أو حركات الجسم، وتحويلها إلى إجراءات رقمية. وبدلًا من النقر على الشاشة أو الضغط على الأزرار، يمكن للمستخدمين التحكم في الأجهزة بحركات بسيطة وطبيعية.

وهذا يجعل التفاعل أكثر بداهة، ويفسر اعتماد الإدخال القائم على الإيماءات في كثير من أنظمة التحكم المدعومة بالتعلم الآلي والذكاء الاصطناعي. ويُعد التعرف على إيماءات اليد، على وجه الخصوص، أحد أكثر أشكال التعرف على الإيماءات استخدامًا، وغالبًا ما يعتمد على الرؤية الحاسوبية.

ببساطة، يستطيع حل للذكاء الاصطناعي البصري رصد الأيدي في مشهد الكاميرا، وتتبع حركتها أو تغير شكلها، ومطابقة تلك الأنماط مع إيماءة معروفة لتشغيل إجراء على الشاشة.

يُعد نموذج الرؤية الحاسوبية جزءًا أساسيًا من هذه الحلول، إذ يُدرّب على مجموعات بيانات من الصور أو مقاطع الفيديو المصنفة التي تعرض إيماءات مختلفة باليد. وباستخدام بيانات تدريب متنوعة وتقييم دقيق، يمكن للنموذج أن يعمم بصورة أفضل على مستخدمين وظروف إضاءة وخلفيات مختلفة، مما يساعده على التعرف على الإيماءات بموثوقية أكبر في بيئات العالم الحقيقي.

الشكل 1. بيانات تُستخدم لتدريب نموذج رؤية حاسوبية على اكتشاف النقاط المفتاحية للإيماءات (المصدر)

استكشاف أنواع الإيماءات المختلفة والتفاعل بين الإنسان والحاسوب#

قبل أن نتعمق في دور الرؤية الحاسوبية في التعرف على الإيماءات، لنتوقف قليلًا ونلقي نظرة على أنواع الإيماءات التي تتعرف عليها هذه الأنظمة عادةً.

في معظم الحالات، تندرج الإيماءات ضمن فئتين: ثابتة وديناميكية. الإيماءات الثابتة وضعيات يد لا تتغير، مثل إشارة الإعجاب أو إشارة التوقف أو علامة النصر. ولأنها لا تتضمن حركة، يمكن غالبًا التعرف عليها من إطار صورة واحد.

أما الإيماءات الديناميكية فتتضمن حركة على مدى زمني، مثل التلويح أو التحريك في الهواء. وللتعرف عليها، يحتاج نظام الذكاء الاصطناعي البصري إلى تحليل إطارات متعددة كي يتتبع حركة اليد ويفهم اتجاه الإيماءة وتوقيتها.

دور خوارزميات الرؤية الحاسوبية في التعرف على الإيماءات#

يمكن بناء أنظمة التعرف على الإيماءات بطرق مختلفة. وتستخدم بعض الأنظمة مستشعرات قابلة للارتداء، مثل القفازات أو أجهزة التتبع المثبتة على المعصم، لالتقاط حركة اليد.

قد تكون هذه الإعدادات دقيقة، لكنها ليست عملية دائمًا. إذ يجب ارتداء الأجهزة القابلة للارتداء وإعدادها وشحنها وصيانتها، وقد تكون مقيدة في المساحات المشتركة أو عند استخدامها يوميًا.

ولهذا السبب تعتمد أنظمة حديثة كثيرة على الرؤية الحاسوبية بدلًا من ذلك. فباستخدام كاميرات RGB القياسية ومستشعرات العمق أو زمن الرحلة، تستطيع الأجهزة التقاط حركات اليد والجسم في الزمن الحقيقي دون حاجة المستخدمين إلى ارتداء أجهزة إضافية. وهذا يجعل التعرف على الإيماءات المعتمد على الرؤية مناسبًا جدًا للهواتف الذكية والسيارات وأجهزة التلفاز الذكية وسماعات الواقع المعزز والواقع الافتراضي.

فعلى سبيل المثال، تدعم نماذج الرؤية الحاسوبية مثل Ultralytics YOLO11 وUltralytics YOLO26 الأحدث مهامًا مثل اكتشاف الأجسام وتتبعها وتقدير الوضعيات. ويمكن استخدام هذه الإمكانات لاكتشاف الأيدي في كل إطار وتتبع حركتها بمرور الوقت وتحديد معالم أساسية مثل أطراف الأصابع والمفاصل. ويتيح ذلك التعرف على إيماءات مثل رفع راحة اليد للإيقاف، والقرص للتكبير، والتمرير للتنقل في القوائم، أو الإشارة لاختيار عنصر في الواقع المعزز والواقع الافتراضي.

مهام الرؤية الحاسوبية المستخدمة للتعرف في التفاعل بين الإنسان والآلة#

فيما يلي نظرة عامة على بعض مهام الرؤية الحاسوبية الرئيسية المستخدمة في التعرف على الإيماءات:

• اكتشاف الأجسام: تُستخدم هذه المهمة لتحديد مواضع الأيدي في صورة أو إطار فيديو، عادةً برسم مربعات إحاطة حولها. وتساعد النظام على التركيز على منطقة الإيماءة وتجاهل تفاصيل الخلفية غير الضرورية.
• تتبع الكائنات: استنادًا إلى اكتشاف الكائنات، تتتبع هذه المهمة الأيدي المكتشفة عبر إطارات متعددة وتحافظ على هويتها بمرور الوقت. وهي مفيدة بوجه خاص للإيماءات الديناميكية، حيث تكون الحركة والاتجاه عاملين حاسمين.
• تقدير الوضعيات: بدلًا من التركيز على مربعات الإحاطة، يحدد تقدير الوضعيات معالم أساسية على اليد، مثل أطراف الأصابع والمفاصل والمعصم. وتشكل هذه المعالم هيكلًا عظميًا مبسطًا لليد يلتقط مواضع الأصابع والحركات الدقيقة، ما يتيح تصنيف الإيماءات بمزيد من التفصيل. وتوفر مجموعات بيانات مثل معالم اليد معالم يدوية موسومة للتدريب.
• تجزئة الكائنات: تهدف هذه المهمة إلى فصل كل يد عن الخلفية على مستوى البكسل، من خلال إنشاء قناع لكل يد ظاهرة. وتفيد هذه المهمة في المشاهد المزدحمة، وعندما تتداخل الأيدي، أو عند ظهور أيدٍ متعددة في الإطار.

تستخدم حلول كثيرة للذكاء الاصطناعي البصري هذه المهام معًا ضمن مسار عمل واحد. فعلى سبيل المثال، قد يبدأ النظام باكتشاف الكائنات للعثور على الأيدي، ثم يستخدم التتبع لمتابعتها عبر الإطارات عند التعرف على الإيماءات الديناميكية.

إذا كانت الإيماءة تعتمد على مواضع الأصابع، فيمكن لتقدير الوضعية إضافة نقاط مفتاحية لمزيد من التفاصيل، بينما تساعد تجزئة الكائنات على عزل كل يد بدقة أكبر في المشاهد المزدحمة أو عند تداخل أيدٍ متعددة. وتوفر هذه الخطوات مجتمعةً معلومات عن الموقع والحركة، مما يجعل التعرف على الإيماءات أدق وأكثر موثوقية.

آلية عمل التعرف على الإيماءات المعتمد على الرؤية#

بعد أن أصبح لدينا فهم أفضل لمهام الرؤية الحاسوبية التي يقوم عليها التعرف على الإيماءات، لنستعرض خطوة بخطوة آلية عمل نظام قائم على الرؤية.

يبدأ النظام النموذجي بالتقاط الفيديو من كاميرا، وأحيانًا ببيانات العمق إذا كان الجهاز يدعمها. ثم تُعالج الإطارات مسبقًا باستخدام معالجة الصور لتسهيل تعامل النموذج معها بصورة متسقة، مثل تغيير الحجم أو تثبيت الصورة أو تقليل الضوضاء وضبابية الحركة.

بعد ذلك، يحدد النظام الأيدي في الإطار باستخدام الاكتشاف أو التقسيم، ويتتبعها بمرور الوقت. وإذا احتاج التطبيق إلى تفاصيل أدق، فقد ينفذ أيضًا تقدير الوضعيات لاستخراج معالم أساسية مثل أطراف الأصابع والمفاصل. وباستخدام هذه المعلومات، يصنف النموذج الإيماءة، سواء أكانت وضعية في إطار واحد مثل الإعجاب، أم نمط حركة مثل التمرير.

أخيرًا، تُربط الإيماءة التي جرى التعرف عليها بإجراء في الواجهة، مثل التمرير أو التكبير أو اختيار عنصر أو ضبط مستوى الصوت أو التحكم في تفاعلات AR وVR. وقد يختلف مسار العمل المحدد؛ إذ تستخدم التطبيقات الأبسط خطوات أقل، بينما تجمع التطبيقات الأكثر تعقيدًا بين الاكتشاف والتتبع وتقدير الوضعية لتحقيق دقة أفضل.

تطبيقات التعرف على الإيماءات المعتمد على الرؤية#

بعد ذلك، لنستعرض بعض التطبيقات الواقعية للتعرف على الإيماءات المعتمد على الرؤية.

التفاعل بالإيماءات مع أنظمة المعلومات والترفيه في السيارات#

بدأ التعرف على الإيماءات يظهر في واجهات المركبات الذكية، ولا سيما في أنظمة المعلومات والترفيه. فهو طريقة ملائمة للتحكم في ميزات معينة بحركات يد بسيطة، مما قد يقلل حاجة السائقين إلى مد أيديهم نحو الشاشات اللمسية أو الأزرار المادية. فعلى سبيل المثال، يمكن استخدام إيماءة سريعة لضبط مستوى الصوت أو إدارة المكالمات أو التنقل في القوائم المعروضة على الشاشة.

الشكل 2. سائق يؤدي إيماءات باليد ضمن نطاق اكتشاف نظام المعلومات والترفيه (المصدر)

التفاعل القائم على الإيماءات في الألعاب#

في الألعاب والتجارب الغامرة، يغيّر التحكم القائم على الإيماءات طريقة تفاعل الأشخاص مع العوالم الافتراضية. فبدلًا من الاعتماد على وحدات التحكم أو أذرع التحكم وحدها، يستطيع اللاعبون استخدام حركات اليد الطبيعية للتنقل في القوائم والتقاط الكائنات الافتراضية والتحكم في الشخصيات أو تشغيل إجراءات داخل اللعبة.

الشكل 3. لعب الألعاب باستخدام إيماءات اليد (المصدر).

قد يبدو هذا النوع من التفاعل دون لمس أكثر سلاسة، خصوصًا في AR وVR. ونتيجة لذلك، أصبح تتبع اليد والتحكم بالإيماءات من الميزات الشائعة في سماعات VR والواقع المختلط.

تحكم سلس بالإيماءات في الأجهزة المنزلية الذكية#

بدأت الأجهزة المنزلية الذكية مثل أجهزة التلفاز الذكية ومكبرات الصوت والأضواء المتصلة تدعم التحكم بالإيماءات لتنفيذ إجراءات سريعة من دون لمس. فبحركة بسيطة باليد، يستطيع المستخدمون تشغيل الأضواء أو ضبط مستوى الصوت أو تنفيذ أوامر أساسية دون الحاجة إلى الوصول إلى المفاتيح أو أجهزة التحكم عن بُعد.

على سبيل المثال، يمكن للكاميرات الحساسة للعمق، المدمجة أو المتصلة، في أنظمة الترفيه المنزلي التعرف على إيماءات مثل التحريك أو الإشارة أو رفع اليد. وقد يسهل ذلك تصفح القوائم وتغيير الإعدادات وتأكيد الاختيارات من الجانب الآخر للغرفة. وفي الخلفية، تعالج نماذج الرؤية الحاسوبية مشهد الكاميرا في الوقت الفعلي لاكتشاف هذه الإيماءات وتفسيرها.

التحكم بالإيماءات في الروبوتات المدعوم بالذكاء الاصطناعي#

تخيل موقفًا في مصنع يحتاج فيه عامل إلى توجيه روبوت أثناء حمل القطع أو ارتداء القفازات أو الوقوف على مسافة آمنة من معدات متحركة. في هذه البيئات، قد يكون الوصول إلى الأزرار أو لوحة التحكم بطيئًا أو غير آمن.

في المقابل، يمكن لأنظمة التحكم القائمة على الإيماءات أن توفر طريقة عملية أكثر للتفاعل مع هذه الآلات دون استخدام اليدين. ويكون ذلك مفيدًا بوجه خاص للروبوتات التعاونية، أو الروبوتات التعاونية، المصممة للعمل إلى جانب الأشخاص.

بدلًا من التوجه إلى لوحة التحكم، يمكن للمشغلين استخدام إشارات يد بسيطة لبدء الروبوت أو إيقافه أو توجيهه من مسافة. ويقلل ذلك الاعتماد على أدوات التحكم المادية، كما يدعم سير عمل أكثر أمانًا في أرضية المصنع.

تستطيع أنظمة التحكم المتقدمة المعتمدة على الرؤية، والمدعومة بنماذج التعلم العميق أو خوارزميات التعلم، تجاوز الأوامر الأساسية أيضًا. إذ يمكنها تفسير حركات اليد الدقيقة والاستجابة بسلاسة للتغيرات الطفيفة في الاتجاه، ما يتيح توجيهًا وأتمتةً أدق.

الشكل 4. يد روبوتية تحلل إيماءة مستخدم (المصدر)

مزايا تقنية التعرف على الإيماءات وعيوبها#

فيما يلي بعض الفوائد الرئيسية لاستخدام تقنية التعرف على الإيماءات:

• تحسين إمكانية الوصول: يمكن أن توفر الإيماءات خيارًا بديلًا للمستخدمين الذين يجدون صعوبة في استخدام لوحات المفاتيح أو الشاشات اللمسية أو وحدات التحكم.
• العمل عن بُعد: يمكن التعرف على الإيماءات من الجانب الآخر للغرفة، وهو ما يفيد أجهزة التلفاز الذكية والأكشاك والأجهزة المنزلية.
• المرونة عبر الأجهزة: يمكن أن تعمل مجموعات الإيماءات المتشابهة على الهواتف والسيارات والشاشات الذكية وسماعات AR أو VR، مما يجعل التفاعل متسقًا.

وفي الوقت نفسه، توجد بعض التحديات العملية التي قد تؤثر في الدقة والاتساق. وفيما يلي عوامل ينبغي أخذها في الحسبان:

• مشكلات الإضاءة وجودة الكاميرا: قد تؤدي الإضاءة الخافتة أو الوهج أو الظلال أو الكاميرات منخفضة الدقة إلى تراجع أداء التعرف. وقد يؤثر ذلك بدوره في التحكم بالحركة.
• التباين بين المستخدمين: يؤدي الأشخاص الإيماءات بطرق مختلفة بطبيعتهم، وقد تؤثر الاختلافات في حجم اليد ومرونة الأصابع أو الملحقات في الدقة.
• قيود الحركة السريعة: قد تؤدي الإيماءات السريعة إلى ضبابية الحركة أو تجعل النموذج يفوّت إطارات أساسية، ولا سيما مع الكاميرات ذات معدل الإطارات المنخفض.

أبرز النقاط#

تجاوزت تقنية التعرّف على الإيماءات المختبرات البحثية، وأصبحت الآن جزءًا من الأجهزة والابتكارات اليومية. وعلى وجه التحديد، تتيح الرؤية الحاسوبية التحكم دون لمس في الألعاب والروبوتات والمنازل الذكية وأنظمة السيارات. ومع تحسّن نماذج الرؤية، يُرجّح أن يصبح إنشاء هذه الواجهات التي لا تتطلب اللمس أسهل وأن يزداد انتشارها.

اكتشف مجتمعنا ومستودع GitHub لمعرفة المزيد عن نماذج الرؤية الحاسوبية. واستكشف صفحات حلولنا للاطلاع على تطبيقات مثل الرؤية الحاسوبية في الروبوتات والرؤية الحاسوبية في الخدمات اللوجستية. واطلع على خيارات الترخيص وابدأ ببناء نموذج ذكاء اصطناعي للرؤية خاص بك.