探索计算机视觉应用的工作原理

在回顾计算机视觉模型的历史时，我们看到了计算机视觉的发展历程，以及它如何引领我们走向如今先进的视觉模型。像 Ultralytics YOLOv8 这样的现代模型及其后续版本，包括最新的 Ultralytics YOLO26，支持多种计算机视觉任务，并已应用于各种令人振奋的场景。

本文将介绍计算机视觉和视觉模型的基础知识。我们会讲解它们的工作原理，以及它们在各行各业中的多种应用。计算机视觉创新无处不在，而且往往在幕后默默发挥作用。

什么是计算机视觉？#

人工智能（AI）是一个总称，涵盖旨在模拟人类部分智能的多种技术。计算机视觉就是 AI 的一个子领域。计算机视觉致力于让机器拥有“眼睛”，从而能够看见、观察并理解周围环境。

与人类视觉类似，计算机视觉解决方案旨在区分物体、计算距离并检测运动。不过，人类依靠一生积累的经验来观察和理解，而计算机则依赖海量数据、高清摄像头和复杂算法。

图 1. 人类视觉与计算机视觉对比。

计算机视觉系统能够高速、精准地处理和分析图像、视频等视觉数据。快速、准确地分析大量视觉信息的能力，使计算机视觉成为各行各业的强大工具，应用领域从制造业到医疗保健。

视觉模型支持多种计算机视觉任务#

计算机视觉模型是任何计算机视觉应用的核心。它们本质上是由深度学习技术驱动的计算算法，旨在赋予机器解读和理解视觉信息的能力。视觉模型支持各种关键计算机视觉任务，从图像分类到目标检测。下面我们将详细了解其中一些任务及其应用场景。

图像分类#

图像分类是将图像归入预先定义的类别并为其添加标签的过程。像 YOLOv8 这样的视觉模型可以使用大量带标签的数据集进行训练。在训练过程中，模型会学习与每个类别相关的模式和特征。训练完成后，模型可以通过分析新图像的特征并将其与已学习的模式进行比较，预测未见过图像所属的类别。

图 2. 图像分类示例。（来源：towardsdatascience.com）

图像分类有不同类型。例如，处理医学图像时，可以使用二分类将图片分成两组，例如健康和患病。另一种类型是多分类，可将图像分为多个组，例如把农场里的不同动物分为猪、山羊和奶牛。或者，假设你想将动物分成组和子组，例如先将动物分为哺乳动物和鸟类，再进一步按物种划分为狮子、老虎、鹰和麻雀；那么层次分类就是最佳选择。

对象检测#

目标检测是使用计算机视觉识别并定位图像和视频帧中物体的过程。它包含两项任务：目标定位，即在物体周围绘制边界框；目标分类，即识别每个物体所属的类别。借助边界框标注，视觉模型可以学习识别各目标类别特有的模式和特征，并预测这些物体在新的、此前未见过的图像中的存在情况及位置。

图 3. YOLOv8 目标检测用于检测足球场上的球员。

目标检测在各行各业都有广泛应用，范围从体育到海洋生物学。例如，在零售领域，Amazon 的 Just Walk Out技术利用目标检测识别顾客拿取的商品，实现结账自动化。计算机视觉与传感器数据相结合，让顾客可以拿上商品直接离开，无需排队。

下面进一步看看它的工作原理：

• 安装在天花板上的摄像头会拍摄顾客在店内走动的画面，视觉模型会实时处理这些视频。
• 系统通过目标检测来识别顾客拿起并放入购物篮的具体商品，并据此更新虚拟购物车。
• 货架上的重量传感器通过检测商品是否被取走或放回，进一步提高准确性。
• 顾客离开商店时，可以使用目标检测和面部识别技术确认顾客已经离店，并使用信用卡等支付信息自动向顾客收费。

语义分割与实例分割#

语义分割和实例分割是计算机视觉任务，可将图像划分为有意义的区域。语义分割根据像素的语义含义进行分类，并将同一类别中的所有对象视为具有相同标签的单一实体。它适合标注“天空”或“海洋”等不可计数的对象，也适合标注“树叶”或“草地”等集合。

另一方面，实例分割可以通过为每个检测到的对象分配唯一标签，区分同一类别中的不同实例。你可以使用实例分割来分割可计数的对象，因为此时对象的数量和独立性很重要。它能实现更精确的识别与区分。

图 4. 语义分割与实例分割示例。

通过一个与自动驾驶汽车相关的例子，我们可以更清楚地理解语义分割和实例分割之间的区别。语义分割非常适合需要理解场景内容的任务，可用于自动驾驶汽车中对道路特征进行分类，例如人行横道和交通标志。与此同时，实例分割可用于自动驾驶汽车，区分单个行人、车辆和障碍物。

姿态估计#

姿态估计是一项计算机视觉任务，主要用于检测和跟踪图像或视频中对象姿态的关键点。它最常用于人体姿态估计，关键点包括肩膀和膝盖等部位。估计人体姿态有助于我们理解和识别动作与运动，这对多种应用都至关重要。

图 5. 使用 YOLOv8 进行姿态估计的示例。

姿态估计可用于分析运动员在体育运动中的动作。NBA 使用姿态估计研究比赛期间球员的动作和位置。通过跟踪肩膀、肘部、膝盖和脚踝等关键点，姿态估计可以详细分析球员的动作。这些分析有助于教练制定更好的策略、优化训练计划，并在比赛期间实时调整。此外，这些数据还能帮助监测球员的疲劳程度和受伤风险，从而改善球员的整体健康和表现。

定向边界框目标检测#

定向边界框目标检测（OBB）使用旋转矩形精确识别和定位图像中的对象。与沿图像坐标轴对齐的标准边界框不同，OBB 会旋转以匹配对象的方向。因此，它们特别适用于并非完全水平或垂直的对象。它们能够准确定位并分离旋转对象，避免拥挤环境中的对象重叠。

图 6. 使用 YOLOv8 在船只航拍图像上进行有向边界框检测的示例。

在海事监控中，识别和跟踪船只是安全保障和资源管理的关键。OBB 检测可用于精准定位船只，即使船只密集排列或朝向各异也不例外。它有助于监控航道、管理海上交通并优化港口运营。发生飓风或漏油等事件后，它还可通过快速识别和评估船只及基础设施的受损情况，协助开展灾害响应。

目标跟踪#

到目前为止，我们讨论的都是处理图像的计算机视觉任务。目标跟踪是一项计算机视觉任务，可在视频的整个帧序列中跟踪对象。它首先使用检测算法识别第一帧中的对象，然后在对象穿过视频时持续跟踪其位置。目标跟踪涉及目标检测、特征提取和运动预测等技术，以确保跟踪准确。

图 7. 使用 YOLOv8 跟踪鱼类。

YOLOv8 等视觉模型可用于海洋生物学中的鱼类跟踪。研究人员可以使用水下摄像机监测鱼类在自然栖息地中的活动和行为。该过程首先检测视频最初几帧中的单条鱼，然后在整个视频中持续跟踪它们的位置。跟踪鱼类有助于科学家了解其迁徙模式、社群行为以及与环境的互动。这也能帮助人们了解鱼类的分布和数量，为可持续渔业实践提供支持。

计算机视觉综述#

计算机视觉正在积极改变我们使用技术和与世界互动的方式。通过深度学习模型和复杂算法理解图像与视频，计算机视觉帮助各行各业简化了许多流程。目标检测和目标跟踪等计算机视觉任务，让此前无法实现的解决方案成为可能。随着计算机视觉技术不断进步，未来还将涌现更多创新应用！

让我们一起学习、共同成长！访问我们的 GitHub 代码仓库，了解我们对 AI 的贡献。看看我们如何利用 AI 重新定义自动驾驶汽车和农业等行业。