视觉 AI 实现免触控手势识别技术

随着技术不断发展，我们与技术互动的方式也在不断演变。早期机器依赖体力操作和机械控制，而现代计算机科学引入了触摸屏和语音输入。

如今，手势识别正成为下一阶段的一部分，利用自然动作作为用户界面。简单的挥手、捏合或快速手势已经可以控制应用、屏幕和机器。

这种无接触交互可以由计算机视觉提供支持。计算机视觉是 AI 的一个分支，帮助机器看见并理解摄像头捕捉到的内容。视觉 AI 系统可以嵌入智能手机、虚拟现实 (VR) 和增强现实 (AR) 头显、汽车以及智能家居设备中，让手势取代点击、单击和按钮操作，从而带来更流畅的用户体验。

无接触控制正日益融入日常生活。在工作场所和共享空间中，避免物理接触有助于改善卫生和安全状况。许多数字产品也正在转向免手操作，而手势为用户提供了一种简单直观的方式，让他们无需触碰设备即可进行控制。

本文将介绍手势识别是什么、计算机视觉如何提高其准确性，以及它在实际应用中的使用场景。让我们开始吧！

什么是手势识别？#

手势识别是一种感知技术，可以让机器理解人类手势（例如手势信号或身体动作），并将其转换为数字操作。用户无需点击屏幕或按下按钮，而是可以通过简单自然的动作控制设备。

这让交互更加直观，也正因如此，基于手势的输入正被广泛应用于许多机器学习和 AI 驱动的控制系统。尤其是手部手势识别，它是最常用的手势识别形式之一，并且通常依赖计算机视觉。

简单来说，视觉 AI 解决方案可以在摄像头画面中发现手部，跟踪手部的移动或形状变化，并将这些模式与已知手势匹配，从而触发屏幕上的操作。

这些解决方案的关键组成部分是计算机视觉模型。该模型使用标注图像或视频数据集进行训练，这些数据展示了不同的手部手势。借助多样化的训练数据和严谨的评估，模型可以更好地适应不同用户、光照条件和背景，从而在现实环境中更可靠地识别手势。

图 1. 用于训练计算机视觉模型以检测手势关键点的数据（来源）

探索不同类型的手势与人机交互#

在进一步了解计算机视觉在手势识别中的作用之前，我们先退一步，看看这些系统通常能够识别哪些类型的手势。

在大多数情况下，手势分为两类：静态手势和动态手势。静态手势是固定的手部姿势，例如竖起大拇指、停止手势或和平手势。由于不涉及移动，它们通常可以通过单个图像帧进行识别。

相比之下，动态手势涉及随时间变化的动作，例如挥手或在空中滑动。要识别这类手势，视觉 AI 系统需要分析多个帧，以跟踪手部的移动，并理解手势的方向和时序。

计算机视觉算法在手势识别中的作用#

手势识别系统可以通过不同方式构建。一些输入方法系统使用可穿戴传感器，例如手套或安装在手腕上的跟踪器，来捕捉手部动作。

这些配置可以实现较高的准确性，但并不总是实用。可穿戴设备需要穿戴、设置、充电和维护，在共享空间或日常使用时也可能让人感到受限。

因此，许多尖端系统转而依赖计算机视觉。借助标准 RGB 摄像头以及深度或飞行时间传感器，设备可以实时捕捉手部和身体动作，而无需用户佩戴额外设备。这使得基于视觉的手势识别非常适合智能手机、汽车、智能电视以及 AR 和 VR 头显。

例如，Ultralytics YOLO11 和即将推出的 Ultralytics YOLO26 等计算机视觉模型支持目标检测、目标跟踪和姿态估计等任务。这些功能可用于检测每一帧中的手部、跟踪其随时间的移动，并映射指尖和关节等关键点。这样一来，系统便可以识别举起手掌表示暂停、捏合表示缩放、滑动表示浏览菜单，或指向某个对象以在 AR 和 VR 中进行选择等手势。

用于人机交互识别的计算机视觉任务#

下面概述手势识别中使用的一些关键计算机视觉任务：

• 目标检测：该任务用于定位图像或视频帧中的手部，通常通过在手部周围绘制边界框来实现。它可以帮助系统聚焦于手势区域，并忽略不必要的背景细节。
• 目标跟踪：该任务以目标检测为基础，跨多个帧跟踪检测到的手部，并持续维护其身份。对于动态手势而言，这项功能尤其有用，因为移动和方向至关重要。
• 姿态估计：姿态估计不以边界框为重点，而是识别手部上的关键点，例如指尖、指关节和手腕。这些地标构成一个简单的手部骨架，可以捕捉手指位置和细微动作，从而实现更详细的手势分类。
• 实例分割：该任务旨在通过为每只可见的手生成掩码，在像素级别将手部与背景分离。在场景杂乱、手部相互遮挡或画面中出现多只手时，这项功能非常有帮助。

许多视觉 AI 解决方案会将这些任务结合起来，作为单一流水线的一部分。例如，系统可能先通过目标检测找到手部，然后使用跟踪功能跨帧跟踪手部，以识别动态手势。

如果手势取决于手指的位置，姿态估计可以添加关键点以获取更精细的细节；而在场景杂乱或多只手相互遮挡时，实例分割可以帮助更准确地分离每只手。协同工作时，这些步骤能够同时提供位置和动作信息，使手势识别更加准确可靠。

基于视觉的手势识别如何工作#

现在我们已经更好地理解了手势识别背后的计算机视觉任务，接下来逐步了解基于视觉的系统是如何工作的。

典型系统首先从摄像头捕捉视频；如果设备支持深度数据，有时也会同时捕捉深度信息。随后，系统会使用图像处理对帧进行预处理，使模型能够更一致地处理这些数据，例如调整大小、稳定画面或减少噪声和运动模糊。

接下来，系统通过检测或分割识别帧中的手部，并使用跟踪功能持续跟随手部。如果应用需要更精细的细节，还可以运行姿态估计来提取指尖和关节等关键点。模型利用这些信息对手势进行分类，无论是竖起大拇指这类单帧姿势，还是滑动这类动作模式。

最后，系统会将识别出的手势映射为界面中的操作，例如滚动、缩放、选择项目、调节音量，或控制 AR 和 VR 交互。具体流水线可能有所不同：简单应用使用较少的步骤，而复杂应用则会结合检测、跟踪和姿态估计，以获得更高的准确性。

基于视觉的手势识别应用#

接下来，让我们了解手势识别如何应用于现实场景，以识别手部位置。

手势与汽车信息娱乐系统的交互#

手势识别开始出现在智能汽车界面中，尤其是信息娱乐系统中。它可以通过简单的手部动作控制某些功能，十分方便，从而减少驾驶员伸手操作触摸屏或实体按钮的次数。例如，驾驶员可以通过快速手势调节音量、管理通话或浏览屏幕菜单。

图 2. 驾驶员在信息娱乐系统的检测范围内做出手势（来源）

游戏中的手势驱动交互#

在游戏和沉浸式体验中，基于手势的控制正在改变人们与虚拟世界的交互方式。玩家不再只能依赖控制器或操纵杆，还可以使用自然的手部动作浏览菜单、拿起虚拟物体、控制角色或触发游戏中的操作。

图 3. 使用手势玩游戏（来源）。

这种无接触交互可以带来更加流畅的体验，尤其是在 AR 和 VR 中。因此，手部跟踪和手势控制正成为 VR 和混合现实头显的常见功能。

智能家居设备的无缝手势控制#

智能电视、音箱和联网灯具等智能家居设备开始支持基于手势的控制，以实现快速、无接触的操作。用户只需做出简单的手部动作，即可开灯、调节音量或触发基本命令，无需伸手去操作开关或遥控器。

例如，在家庭娱乐设备中，内置或外接的深度摄像头可以识别滑动、指向或举手等手势。这样一来，用户无需走近设备，就能更轻松地浏览菜单、更改设置或确认选择。在幕后，计算机视觉模型会实时处理摄像头画面，以检测并理解这些手势。

人工智能赋能的机器人手势控制#

设想这样一种工厂场景：工人需要在搬运零件、佩戴手套或与运动设备保持安全距离的情况下引导机器人。在这些环境中，伸手操作按钮或控制面板可能速度较慢，甚至存在安全风险。

相比之下，基于手势的控制系统可以提供一种更加实用的免手操作方式，让用户与这些机器进行交互。这对于协作机器人（即 cobot）尤其有用，因为它们就是为与人协同工作而设计的。

操作员无需走到控制面板前，只需使用简单的手势信号，就能从远处启动、停止或引导机器人。这可以减少对实体控制装置的依赖，并支持车间内更加安全的工作流程。

由深度学习模型或学习算法驱动的先进视觉控制系统还可以执行超越基本命令的操作。它们能够理解更细微的手部动作，并对小幅度的方向变化以及更精确的引导和自动化操作做出平稳响应。

图 4. 分析用户手势的机械手（来源）

手势识别技术的优缺点#

以下是使用手势识别技术的一些主要优势：

• 提高可访问性：对于难以使用键盘、触摸屏或控制器的用户，手势可以提供一种替代方式。
• 支持远距离操作：手势可以在房间另一端被识别，这对智能电视、自助终端和家用设备很有帮助。
• 跨设备灵活适用：相似的手势集合可以应用于手机、汽车、智能显示屏以及 AR 或 VR 头显，从而保持一致的交互体验。

与此同时，一些现实挑战可能会影响识别的准确性和一致性。以下是需要考虑的几个因素：

• 光照和摄像头质量问题：弱光、眩光、阴影或低分辨率摄像头可能降低识别性能，进而影响动作控制。
• 用户之间存在差异：人们做出手势的方式各不相同，手部大小、手指灵活度或佩戴的配饰不同，也可能影响准确性。
• 快速动作的局限性：快速手势可能产生运动模糊，或导致模型漏掉关键帧，尤其是在低帧率摄像头上。

要点总结#

手势识别技术已经走出研究实验室，成为日常设备和创新应用的一部分。具体来说，计算机视觉让游戏、机器人、智能家居和汽车系统能够实现无接触控制。随着视觉模型不断改进，这些无接触界面可能会变得更易于构建，并得到更广泛的应用。

访问我们的社区和 GitHub 代码仓库，进一步了解计算机视觉模型。浏览我们的解决方案页面，了解农业中的 AI和物流中的计算机视觉等应用。查看我们的许可选项，开始构建自己的视觉 AI 模型。