视觉 AI 助力实现无接触手势识别技术

随着技术不断发展，我们与技术交互的方式也在变化。早期的机器依赖体力操作和机械控制，而现代计算机科学带来了触摸屏和语音输入。

如今，手势识别正成为下一步发展方向，它将自然动作用作用户界面。简单的挥手、捏合或快速手势已经可以控制应用、屏幕和机器。

这种非接触式交互可以由计算机视觉提供支持。计算机视觉是 AI 的一个分支，能够帮助机器观察并解读摄像头捕捉到的内容。视觉 AI 系统可以集成到智能手机、虚拟现实 (VR) 和增强现实 (AR) 头显、汽车及智能家居设备中，让手势取代轻触、点击和按键，带来更流畅的用户体验。

非接触式控制在日常生活中越来越常见。在工作场所和共享空间，避免身体接触有助于改善卫生状况并提升安全性。许多数字产品也在转向免手操作，而手势能让人们轻松、直观地控制设备，无需触碰设备。

本文将介绍什么是手势识别、计算机视觉如何提升其准确率，以及它在实际应用中的用途。

什么是手势识别？#

手势识别是一种感知技术，可以让机器理解人类手势（例如手势信号或身体动作），并将其转换为数字操作。用户无需轻触屏幕或按下按钮，就能通过简单自然的动作控制设备。

这让交互更直观，因此手势输入正被应用于许多机器学习和 AI 驱动的控制系统。尤其是，手部手势识别是最广泛使用的手势识别形式之一，而且通常依赖计算机视觉。

简单来说，视觉 AI 解决方案可以在摄像头画面中检测手部，跟踪手部的移动或形状变化，并将这些模式与已知手势进行匹配，从而触发屏幕上的操作。

这类解决方案的一个关键组成部分是计算机视觉模型。该模型使用标注过不同手势的图像或视频数据集进行训练。借助多样化的训练数据和仔细的评估，模型可以更好地泛化到不同用户、光照条件和背景，从而在真实环境中更可靠地识别手势。

图 1. 用于训练计算机视觉模型检测手势关键点的数据（来源）

探索不同类型的手势与人机交互#

在深入了解计算机视觉在手势识别中的作用之前，我们先退一步，看看这类系统通常能够识别哪些类型的手势。

大多数情况下，手势分为静态和动态两类。静态手势是固定的手部姿势，例如竖起拇指、停止手势或胜利手势。由于不涉及动作，通常只需一帧图像即可识别。

动态手势则包含一段时间内的动作，例如挥手或在空中滑动。要识别这类手势，视觉 AI 系统需要分析多帧图像，以跟踪手部移动并理解手势的方向和时序。

计算机视觉算法在手势识别中的作用#

手势识别系统可以通过不同方式构建。有些系统使用可穿戴传感器（例如手套或腕戴式追踪器）来捕捉手部动作。

这些设备可以实现准确识别，但并不总是实用。用户需要佩戴、设置、充电和维护可穿戴设备；在共享空间或日常使用时，这些设备也可能让人觉得不方便。

因此，许多现代系统转而采用计算机视觉。借助标准 RGB 摄像头以及深度或飞行时间传感器，设备可以实时捕捉手部和身体动作，无需用户佩戴额外设备。因此，基于视觉的手势识别非常适用于智能手机、汽车、智能电视以及 AR 和 VR 头显。

例如，Ultralytics YOLO11 和更新的 Ultralytics YOLO26 等计算机视觉模型支持目标检测、目标跟踪和姿态估计等任务。这些功能可用于检测每一帧中的手部、跟踪手部随时间的移动，并映射指尖和关节等关键点。因此，系统可以识别各种手势，例如举起手掌表示暂停、捏合表示缩放、滑动以浏览菜单，或在 AR 和 VR 中通过指向来选择项目。

用于人机交互识别的计算机视觉任务#

以下是手势识别中使用的一些主要计算机视觉任务概述：

• 目标检测： 这项任务用于在图像或视频帧中定位手部，通常通过在手部周围绘制边界框来实现。它能帮助系统聚焦于手势区域，忽略无关的背景细节。
• 目标跟踪：在目标检测的基础上，此任务会跟踪多帧图像中检测到的手部，并持续保持其身份信息。它对动态手势尤其有用，因为动作和方向至关重要。
• 姿态估计： 姿态估计不关注边界框，而是识别手部的关键点，例如指尖、指关节和手腕。这些关键点构成简单的手部骨架，可以捕捉手指位置和细微动作，从而实现更精细的手势分类。Hand Keypoints 等数据集提供了用于训练的手部关键点标注。
• 实例分割：此任务旨在以像素为单位将每只手从背景中分离出来，为每只可见的手生成掩码。在场景杂乱、手部相互重叠或画面中出现多只手时，它很有用。

许多视觉 AI 解决方案会在单个处理流水线中结合使用这些任务。例如，系统可能先通过目标检测找到手部，再通过跟踪在多帧图像中追踪手部，以识别动态手势。

如果手势取决于手指的位置，姿势估计可以添加关键点以提供更精细的信息；而在场景杂乱或多只手相互重叠时，实例分割有助于更准确地分离每只手。这些步骤协同工作，可同时提供位置和动作信息，让手势识别更加准确可靠。

基于视觉的手势识别如何运作#

现在，我们已经更好地了解了手势识别所依赖的计算机视觉任务，接下来逐步看看基于视觉的系统如何运作。

典型系统首先通过摄像头采集视频；如果设备支持，有时也会同时采集深度数据。随后，系统会通过图像处理对视频帧进行预处理，使模型能够更一致地处理数据，例如调整尺寸、稳定画面，或减少噪声和运动模糊。

接下来，系统通过检测或分割来识别画面中的手部，并利用跟踪持续追踪手部。如果应用需要更精细的信息，还可以运行姿态估计来提取指尖和关节等关键点。模型利用这些信息对手势进行分类，无论是竖起大拇指这样的单帧姿势，还是滑动这样的动作模式。

最后，系统会将识别出的手势映射为界面操作，例如滚动、缩放、选择项目、调整音量，或控制 AR 和 VR 交互。具体处理流水线可能有所不同：简单应用会采用较少步骤，复杂应用则会结合检测、跟踪和姿势估计，以提高准确度。

基于视觉的手势识别应用#

接下来，我们来了解一些基于视觉的手势识别在现实世界中的应用。

通过手势与汽车信息娱乐系统交互#

手势识别开始应用于智能汽车界面，尤其是信息娱乐系统。它可以通过简单的手部动作便捷地控制某些功能，减少驾驶员伸手操作触摸屏或实体按键的次数。例如，快速做出一个手势即可调节音量、管理通话或浏览屏幕菜单。

图 2. 驾驶员在信息娱乐系统的检测范围内做手势（来源）

游戏中的手势交互#

在游戏和沉浸式体验中，基于手势的控制正在改变人们与虚拟世界交互的方式。玩家不再只能依赖控制器或操纵杆，还可以用自然的手部动作浏览菜单、拿起虚拟物体、控制角色或触发游戏操作。

图 3. 使用手势玩游戏（来源）。

这种非接触式交互方式用起来可能更加流畅，尤其是在 AR 和 VR 中。因此，手部跟踪和手势控制正成为 VR 和混合现实头显的常见功能。

智能家居设备的无缝手势控制#

智能电视、扬声器和联网灯具等智能家居设备开始支持手势控制，以便快速执行非接触式操作。用户只需简单地移动手部，就能开灯、调节音量或触发基本指令，无需伸手去按开关或拿遥控器。

例如，在家庭娱乐环境中，内置或外接的深度摄像头可以识别滑动、指向或举手等手势。这让用户即使在房间另一端，也能轻松浏览菜单、更改设置或确认选择。在后台，计算机视觉模型会实时处理摄像头画面，以检测和解读这些手势。

人工智能驱动的机器人手势控制#

想象一下，在工厂中，工人需要在搬运零件、戴着手套或站在远离移动设备的安全位置时引导机器人。在这些情况下，伸手去按按钮或操作控制面板可能很慢，甚至不安全。

相比之下，基于手势的控制系统能够提供更实用的免手操作方式，让人们与这些机器交互。这对于旨在与人并肩工作的协作机器人，也就是协作机器人，尤其有用。

操作员无需走到控制面板前，就可以用简单的手势信号远程启动、停止或引导机器人。这样可以减少对实体控制装置的依赖，并支持更安全的车间工作流程。

由深度学习模型或学习算法支持的先进视觉控制系统，还能处理基本命令以外的操作。它们可以解读更精细的手部动作，并对细微的方向变化做出平顺响应，从而实现更精确的引导和自动化。

图 4. 正在分析用户手势的机械手（来源）

手势识别技术的优缺点#

以下是使用手势识别技术的一些主要优势：

• 提升可访问性：对于觉得键盘、触摸屏或控制器难以操作的用户，手势可以提供一种替代方式。
• 支持远距离识别：手势可以在房间另一端被识别，因此适用于智能电视、自助服务终端和家用设备。
• 适用于多种设备：相似的手势集合可以用于手机、汽车、智能显示屏以及 AR 或 VR 头显，让交互体验保持一致。

与此同时，现实应用中也存在一些可能影响准确度和一致性的挑战。以下是需要考虑的一些因素：

• 光照和摄像头质量问题：光线不足、眩光、阴影或低分辨率摄像头都会降低识别性能，进而影响动作控制。
• 用户差异：每个人做手势的方式都有自然差异，手部大小、手指灵活度或配饰等方面的差异也会影响准确度。
• 快速运动的局限性：快速手势可能导致运动模糊，或使模型错过关键帧，尤其是在帧率较低的摄像头上。

要点#

手势识别技术已走出研究实验室，成为日常设备和创新的一部分。具体来说，计算机视觉让游戏、机器人、智能家居和汽车系统能够实现无接触操控。随着视觉模型不断改进，这些无接触交互界面可能会变得更容易构建，也会得到更广泛的应用。

访问我们的社区和 GitHub 仓库，深入了解计算机视觉模型。在我们的解决方案页面上，探索机器人领域的计算机视觉和物流领域的计算机视觉等应用。查看我们的许可选项，开始构建你自己的视觉 AI 模型。