探索计算机视觉应用的工作原理
深入了解计算机视觉的各种应用。我们还将介绍目标检测和分割等计算机视觉任务。
在了解计算机视觉模型的发展历史时，我们看到计算机视觉如何演进，以及这段历程如何引领我们走向如今先进的视觉模型。像 Ultralytics YOLOv8 这样的现代模型支持多种计算机视觉任务，并已应用于各种令人振奋的场景。
本文将介绍计算机视觉和视觉模型的基础知识，包括它们的工作原理，以及它们在各行各业中的多种应用。计算机视觉创新无处不在，正悄然塑造我们的世界。让我们逐一揭开它们的面纱！
什么是计算机视觉？#
人工智能（AI）是一个总称，涵盖旨在模拟人类部分智能的多种技术。计算机视觉就是 AI 的一个子领域。计算机视觉致力于让机器拥有“眼睛”，从而能够看见、观察并理解周围环境。
与人类视觉类似，计算机视觉解决方案旨在区分物体、计算距离并检测运动。不过，人类依靠一生积累的经验来观察和理解，而计算机则依赖海量数据、高清摄像头和复杂算法。
图 1. 人类视觉与计算机视觉对比。
计算机视觉系统能够以惊人的速度和准确性处理并分析图像、视频等视觉数据。快速、准确地分析海量视觉信息的能力，使计算机视觉成为各行各业的强大工具，应用范围从制造业到医疗保健。
视觉模型支持多种计算机视觉任务#
计算机视觉模型是任何计算机视觉应用的核心。它们本质上是由深度学习技术驱动的计算算法，旨在赋予机器解读和理解视觉信息的能力。视觉模型支持各种关键计算机视觉任务，从图像分类到目标检测。下面我们将详细了解其中一些任务及其应用场景。
图像分类#
图像分类是指将图像归入预定义的类别或分类中并为其添加标签。像 YOLOv8 这样的视觉模型可以在大量带标签的图像数据集上进行训练。训练过程中，模型会学习识别与各类别相关的模式和特征。训练完成后，模型可以分析新图像（此前未见过的图像）的特征，并将其与学到的模式进行比较，从而预测图像所属类别。
图 2. 图像分类示例。（来源：towardsdatascience.com）
图像分类有多种类型。例如，处理医学图像时，可以使用二分类将图片分为两组，例如健康或患病。另一种类型是多类别分类，可将图像分为许多组，例如对农场中的不同动物进行分类，把猪、山羊和奶牛分开。或者，假设你想把动物分成不同的类别和子类别，例如先分为哺乳动物和鸟类，再进一步按物种细分为狮子、老虎、鹰和麻雀；那么层次分类就是最佳选择。
对象检测#
目标检测是使用计算机视觉识别并定位图像和视频帧中物体的过程。它包含两项任务：目标定位，即在物体周围绘制边界框；目标分类，即识别每个物体所属的类别。借助边界框标注，视觉模型可以学习识别各目标类别特有的模式和特征，并预测这些物体在新的、此前未见过的图像中的存在情况及位置。
图 3. 使用 YOLOv8 在足球场上检测球员的目标检测示例。
目标检测在各行各业都有广泛应用，范围从体育到海洋生物学。例如，在零售领域，Amazon 的 Just Walk Out技术利用目标检测识别顾客拿取的商品，实现结账自动化。计算机视觉与传感器数据相结合，让顾客可以拿上商品直接离开，无需排队。
下面进一步看看它的工作原理：
- 安装在天花板上的摄像头会拍摄顾客在店内走动的画面，视觉模型会实时处理这些视频。
- 系统通过目标检测来识别顾客拿起并放入购物篮的具体商品，并据此更新虚拟购物车。
- 货架上的重量传感器通过检测商品是否被取走或放回，进一步提高准确性。
- 顾客离开商店时，可以使用目标检测和面部识别技术确认顾客已经离店，并使用信用卡等支付信息自动向顾客收费。
语义分割与实例分割#
语义分割和实例分割是计算机视觉任务，可帮助将图像划分为有意义的区域。语义分割根据像素的语义含义对其进行分类，并将同一类别中的所有对象视为一个具有相同标签的整体。它适用于标注“天空”或“海洋”等无法计数的对象，也适用于“树叶”或“草地”等簇状对象。
另一方面，实例分割可以通过为每个检测到的对象分配唯一标签，区分同一类别中的不同实例。你可以使用实例分割来分割可计数的对象，因为此时对象的数量和独立性很重要。它能实现更精确的识别与区分。
图 4. 语义分割与实例分割示例。
通过一个与自动驾驶汽车相关的示例，我们可以更清楚地了解语义分割和实例分割之间的区别。语义分割非常适合需要理解场景内容的任务，可用于自动驾驶汽车，识别道路上的特征，例如人行横道和交通标志。与此同时，实例分割可用于自动驾驶汽车，区分单个行人、车辆和障碍物。
姿态估计#
姿态估计是一项计算机视觉任务，专注于检测和跟踪图像或视频中物体姿态的关键点。它最常用于人体姿态估计，关键点包括肩部和膝盖等部位。估计人体姿态有助于我们理解和识别各种应用中至关重要的动作和运动。
图 5. 使用 YOLOv8 进行姿态估计的示例。
姿态估计可用于体育领域，分析运动员的动作。NBA 使用姿态估计研究比赛期间球员的动作和位置。通过跟踪肩部、肘部、膝盖和脚踝等关键点，姿态估计能够详细分析球员的动作。这些分析结果有助于教练制定更好的策略、优化训练计划，并在比赛期间实时调整。此外，这些数据还有助于监测球员的疲劳程度和受伤风险，从而改善球员的整体健康状况和表现。
定向边界框目标检测#
定向边界框目标检测（OBB）使用旋转矩形精确识别和定位图像中的对象。与沿图像坐标轴对齐的标准边界框不同，OBB 会旋转以匹配对象的方向。因此，它们特别适用于并非完全水平或垂直的对象。它们能够准确定位并分离旋转对象，避免拥挤环境中的对象重叠。
图 6. 使用 YOLOv8 检测航拍图像中船只的定向边界框示例。
在海事监控中，识别和跟踪船只对于安全保障和资源管理至关重要。OBB 检测可用于精确定位船只，即使船只密集排列或朝向各异也不例外。它有助于监控航道、管理海上交通并优化港口运营。此外，在飓风或石油泄漏等事件发生后，它还可协助快速识别和评估船只及基础设施的受损情况，从而支持灾害应对。
目标跟踪#
到目前为止，我们讨论的都是处理图像的计算机视觉任务。目标跟踪是一项计算机视觉任务，可在视频的整个帧序列中跟踪对象。它首先使用检测算法识别第一帧中的对象，然后在对象穿过视频时持续跟踪其位置。目标跟踪涉及目标检测、特征提取和运动预测等技术，以确保跟踪准确。
图 7. 使用 YOLOv8 跟踪鱼类。
YOLOv8 等视觉模型可用于海洋生物学中的鱼类跟踪。研究人员可以使用水下摄像机监测鱼类在自然栖息地中的活动和行为。该过程首先检测视频最初几帧中的单条鱼，然后在整个视频中持续跟踪它们的位置。跟踪鱼类有助于科学家了解其迁徙模式、社群行为以及与环境的互动。这也能帮助人们了解鱼类的分布和数量，为可持续渔业实践提供支持。
计算机视觉综述#
计算机视觉正在积极改变我们使用技术和与世界互动的方式。通过使用深度学习模型和复杂算法理解图像与视频，计算机视觉帮助各行业简化许多流程。目标检测和目标跟踪等计算机视觉任务，让人们能够创建过去难以想象的解决方案。随着计算机视觉技术不断进步，未来还将出现更多创新应用！
让我们一起学习、共同成长！浏览我们的 GitHub 仓库，了解我们为人工智能做出的贡献。看看我们如何利用人工智能重新定义自动驾驶汽车和农业等行业。🚀
