视觉 AI 及其工作原理速览

工厂、医院、城市、车辆和消费设备中的摄像头每天都会采集海量图像和视频。这种持续不断的视觉数据流带来了新的可能性，但也让人们难以理解正在发生什么并迅速采取行动。

例如，繁忙的十字路口或拥挤的公共场所可能随时发生变化。人工监控这些环境速度慢，而且往往不够准确，尤其是在需要快速、可靠地做出决策时。

为应对这类情况，系统需要能够随着视觉信息出现而理解信息并实时响应。计算机视觉让这一切成为可能：机器可以借此分析图像和视频、识别模式并提取有用信息。

早期的计算机视觉系统依赖固定规则，在受控环境中运行良好，但光照或摄像头角度等条件发生变化时往往会失效。现代视觉 AI 借助人工智能和机器学习改进了这种方法。

这些系统不再只是捕捉或存储视觉内容，而是实时分析视觉数据、从示例中学习，并适应不断变化的环境。因此，视觉 AI 在现实场景中更加有效，而且随着应用范围扩大，性能也能不断提升。

本文将深入介绍什么是视觉 AI，以及如何利用它构建端到端的智能工作流。

什么是视觉 AI？#

视觉 AI 是人工智能的一个分支，它让机器能够理解和解读图像与视频。换句话说，视觉 AI 系统会分析所看到的内容，并利用这些信息支持行动、优化预测，或作为更大工作流的一部分做出决策。与生成新内容的生成式 AI 不同，视觉 AI 专注于理解现有视觉数据并从中提取信息。

例如，长时间监控工厂车间或公共场所的活动，需要具备速度和一致性，而人工往往难以持续做到这一点。视觉 AI 系统可以运用机器学习和深度学习技术识别模式、发现相关细节，并在新的视觉信息出现时做出响应，从而应对这一挑战。

图 1. 使用视觉 AI 检测图像中物体的示例（来源）

由于图像和视频通常会以很大的数量快速生成，视觉 AI 系统可以持续处理视觉数据，并对每一帧应用同一个模型。这能让结果更加一致，帮助团队改善运营，并在条件变化时保持准确性。

在实际应用中，视觉 AI 通常是端到端 AI 系统的一部分。它将视觉 AI 模型与决策逻辑及其他能够根据结果采取行动的工具连接起来。视觉 AI 可以将视觉输入转化为有用的洞察，从而自动执行日常任务，并支持各种计算机视觉应用更快、更有把握地做出决策。

视觉 AI 的工作原理：从视觉数据到可执行的洞察#

那么，系统或机器如何从看到图像或视频，进而理解正在发生什么，并决定下一步该做什么？

这一流程始于来自现实世界的视觉输入，例如照片、视频片段、实时摄像头画面或传感器数据流。由于这些数据在质量、光照和摄像头角度方面可能差异很大，通常需要先进行预处理再分析。

此类预处理可能包括调整图像大小、调整光照以及将视频帧整理为统一格式。通常还会添加时间戳或摄像头位置等附加上下文，以支持更准确的分析。

随后，预处理后的数据会用于一种学习框架，让系统能够识别视觉模式。通过使用带标签的图像和视频进行训练，视觉 AI 模型可以学会物体、模式和事件在不同条件下的呈现方式。

这种习得的理解构成了许多常见计算机视觉任务的基础，例如目标检测（识别并定位图像中的物体）和实例分割（在像素级别分离并标注单个物体）。最先进的视觉 AI 模型，例如 Ultralytics YOLO26，旨在支持这些任务，同时在现实环境中保持快速和准确。

图 2. 使用 YOLO 执行实例分割的示例（来源）

系统部署后，视觉输入会作为端到端工作流的一部分持续得到处理。模型会分析图像和视频，并将输出发送到仪表板、自动化工具或其他 AI 系统。在某些情况下，视觉 AI 智能体会利用这些结果触发操作或辅助决策，将视觉理解转化为实用、可执行的洞察。

视觉模型与架构的演进#

随着你对视觉 AI 了解得更多，你可能会想知道模型和架构为何重要，以及它们如何影响系统性能。视觉 AI 模型是当今计算机视觉创新的关键。

大多数视觉 AI 系统都以模型为核心，由模型决定如何分析图像和视频。模型定义了系统能够识别场景中的哪些内容，以及系统在不同条件下的表现。

随着视觉 AI 应用变得更加多样和复杂，视觉 AI 模型及其底层架构也在持续演进，以跟上需求并变得更易使用。早期的计算机视觉系统需要工程师手动定义系统要查找的内容，例如特定的边缘、颜色或形状。

这些基于规则的方法在受控环境中运行良好，但光照变化、摄像头画质不同或场景变得更复杂时，往往会失效。现代视觉 AI 模型采用了不同的方法。

许多开源模型直接从数据中学习视觉模式，因此更加灵活，更适合条件不可预测的现实环境。模型架构的进步也简化了图像和视频的处理方式，让这些系统更容易部署并集成到实用的视觉 AI 平台中。

Ultralytics YOLO 模型很好地体现了这一转变。YOLO26 等模型广泛用于要求速度和一致性的目标检测任务，尤其适用于实时视频应用。

探索视觉 AI 的核心任务#

以下是 AI 驱动的视觉系统用来理解视觉信息并优化现实环境的部分核心计算机视觉任务：

• 目标检测：这项任务使系统能够识别图像或视频中有哪些物体，并确定物体的位置，通常通过为每个物体绘制边界框来实现。
• 实例分割：对于需要更高精度的任务，这项任务会在像素级别拆分图像，以分离场景中的物体或区域。
• 图像分类：这种方法会分析整张图像，并根据图像的整体内容为其分配一个或多个标签，帮助整理视觉内容并为决策提供依据。
• 姿态估计：它能够识别人体或物体上的关键点，例如关节或参考点，以确定其在动态环境中的位置、姿态和运动。
• 目标跟踪：在基于视频的应用中，这项能力可以跨帧追踪物体，同时保留其身份信息和随时间变化的运动轨迹。

图 3. 使用 YOLO 检测和跟踪车辆（来源）

数据集在视觉 AI 中的作用#

每个有效的视觉 AI 系统背后，都有经过精心整理的数据集。这些视觉 AI 数据集提供图像和视频，供视觉 AI 模型学习，帮助模型识别现实环境中的物体、模式和场景。

数据质量会直接影响系统的准确性和可靠性。为了让视觉数据变得有用，数据集需要经过标注。这意味着要为每张图像或每段视频添加重要细节，例如标记物体、突出特定区域或分配类别。

除了标签，还可以添加时间、位置或场景类型等额外元数据，以便整理数据并加深理解。数据集通常也会划分为训练集、验证集和测试集，这样就可以使用系统之前未见过的视觉数据来评估系统。

ImageNet、COCO 和 Open Images 等常用数据集提供了大量多样化的带标签图像，在推动视觉 AI 发展方面发挥了重要作用。即便如此，收集现实世界的数据仍然很困难。

偏差、覆盖范围不足以及不断变化的环境，都让创建真正反映现实状况的数据集变得困难。要构建可靠的视觉 AI 系统，关键在于大规模获取并合理平衡各类数据。

了解各种视觉 AI 应用场景#

现在，我们已经更好地了解了视觉 AI 的工作原理，接下来看看它如何应用于现实场景。在众多行业中，视觉 AI 帮助团队大规模处理视觉任务，从而加快响应速度并提高运营效率。

以下是视觉 AI 在各个领域中的一些常见应用：

• 制造业：在工厂车间，视觉 AI 可用于监控产品在生产各个阶段的流转情况。它可以及早发现缺陷、缺失零件或不一致之处，帮助团队减少返工、保持质量并避免意外停机。
• 零售业：在零售场所，视觉 AI 解决方案可以跟踪库存、检查货架状况并减少损耗。通过分析店内视觉内容，这些系统可以帮助员工更轻松地了解现场情况，并更快地进行调整，让运营保持顺畅。
• 医疗保健：视觉 AI 可以协助医疗专业人员审阅扫描图像或检测结果等医学图像。它能够标记可能需要进一步关注的区域，让临床医生更高效地工作，同时由人来做出最终决定。
• 交通运输与智慧城市：在道路和公共空间中，视觉 AI 帮助城市监控交通流量、检测事件并提升安全性。对摄像头视频流进行实时分析，能够更快地应对变化，并支持更好地管理城市基础设施。

图 4. 在制造业中使用视觉 AI 自动监控产品（来源）

视觉 AI 工具的优缺点#

以下是在现实应用中使用视觉 AI 的一些主要优势：

• 适用于多种场景：训练完成后，视觉 AI 系统只需进行少量改动，就能部署到多个地点或应用中。
• 更快速的 AI 辅助：通过分析采集到的图像和视频，视觉 AI 驱动的系统可以提供实时洞察，帮助更快响应并做出更好的决策。
• 轻松集成到现有工作流：视觉 AI 的输出可以连接到下游系统、仪表板或自动化流水线。

尽管视觉 AI 系统有这些优势，但也存在可能影响其性能的局限。以下是一些需要考虑的因素：

• 依赖数据质量和可用性：视觉 AI 系统高度依赖大量经过妥善准备的数据集。收集和维护高质量视觉数据可能既耗时又昂贵。
• 容易受环境变化影响：如果摄像头移动、光线发生变化或场景显著改变，而系统没有经过重新训练或调整，性能就可能下降。
• 计算和基础设施要求：运行视觉 AI 模型，尤其是实时运行或大规模运行时，可能需要大量计算资源和专用硬件。

要点#

视觉 AI 能将图像和视频转化为系统可以理解和使用的有意义信息。这有助于自动执行视觉任务，并支持更快速、更可靠的决策。其效果取决于高性能模型、高质量数据集和精心设计的工作流能否协同发挥作用。

对视觉 AI 感兴趣吗？加入我们的社区，了解农业领域的计算机视觉以及汽车行业中的视觉 AI。查看我们的许可选项，开始使用计算机视觉。访问我们的 GitHub 代码库，继续探索 AI。