视觉 AI 及其工作原理快速概览

每天，工厂、医院、城市、车辆和消费设备中的摄像头都会采集海量图像和视频。这种持续不断的视觉数据流创造了新的可能性，但也让人难以理解正在发生的事情并迅速采取行动。

例如，繁忙的十字路口或拥挤的公共场所可能在瞬间发生变化。人工监控这些环境速度较慢，而且通常不够准确，尤其是在需要快速、可靠地做出决策时。

为了应对这类情况，系统需要能够在视觉信息出现时理解它，并实时做出响应。计算机视觉通过让机器分析图像和视频、识别模式并提取有用信息，使这一切成为可能。

早期的计算机视觉系统依赖固定规则，这些规则在受控环境中有效，但当光照或摄像头角度等条件发生变化时往往会失效。现代视觉 AI 通过使用人工智能和机器学习改进了这一方法。

这些系统不再只是采集或存储视觉内容，而是实时分析视觉数据、从示例中学习，并适应不断变化的环境。这使视觉 AI 在现实场景中更加有效，并能随着应用范围扩大而不断改进。

在本文中，我们将进一步了解视觉 AI 是什么，以及如何利用它构建端到端的智能工作流。让我们开始吧！

什么是视觉 AI？#

视觉 AI 是人工智能的一个分支，能够让机器理解和解释图像与视频。换句话说，视觉 AI 系统会分析它们所看到的内容，并利用这些信息支持行动、优化预测，或作为更大工作流的一部分做出决策。与能够生成新内容的生成式 AI 不同，视觉 AI 专注于理解现有视觉数据并从中提取信息。

例如，长期监控工厂车间或公共场所的活动，需要人工操作难以持续保持的速度和一致性。视觉 AI 系统可以通过应用机器学习和深度学习技术来应对这一挑战，识别模式、发现相关细节，并在新的视觉信息出现时做出响应。

图 1. 使用视觉 AI 检测图像中的对象示例（来源）

由于图像和视频通常以很大的数量和很高的速度生成，视觉 AI 系统可以持续处理视觉数据，并将相同的规则应用于每一帧。这能让结果更加一致，帮助团队改进运营，同时在条件变化时保持准确性。

在实际应用中，视觉 AI 通常是端到端 AI 系统的一部分。它将视觉 AI 模型与决策逻辑及其他根据结果采取行动的工具连接起来。通过将视觉输入转化为有用的洞察，视觉 AI 可以自动执行常规任务，并在众多计算机视觉应用中支持更快速、更有把握的决策。

视觉 AI 的工作原理：从视觉数据到可执行洞察#

那么，系统或机器究竟如何从看到图像或视频，发展到理解正在发生的事情并决定下一步该做什么？

这一过程始于来自现实世界的视觉输入，例如照片、视频片段、实时摄像头画面或传感器数据流。由于这些数据在质量、光照和摄像头角度方面可能差异很大，通常需要先进行准备再分析。

这种准备可能包括调整图像大小、调节光照，以及将视频帧整理为统一格式。通常还会加入时间戳或摄像头位置等额外上下文，以支持更准确的分析。

随后，准备好的数据会在学习框架中使用，使系统能够识别视觉模式。通过使用带标注的图像和视频进行训练，视觉 AI 模型能够学习对象、模式和事件在不同条件下的表现形式。

这种学习到的理解构成了许多常见计算机视觉任务的基础，例如对象检测（识别图像中的对象并确定其位置）和实例分割（在像素级别分离并标注单个对象）。最先进的视觉 AI 模型，例如Ultralytics YOLO26，旨在支持这些任务，同时在现实环境中保持快速和准确。

图 2. 使用 YOLO 进行实例分割（来源）

系统部署后，视觉输入会作为端到端工作流的一部分持续进行处理。模型分析图像和视频，并将输出发送到仪表板、自动化工具或其他 AI 系统。在某些情况下，视觉 AI 智能体会利用这些结果触发操作或支持决策，将视觉理解转化为切实可行的洞察。

视觉模型和架构的演进#

随着你对视觉 AI 了解得更多，你可能会想知道模型和架构为何重要，以及它们如何影响系统性能。视觉 AI 模型是当今计算机视觉创新的关键。

大多数视觉 AI 系统都围绕一个模型构建，该模型决定图像和视频的分析方式。模型定义了系统能够识别场景中的哪些内容，以及它在不同条件下的表现。

随着视觉 AI 应用变得更加多样和复杂，视觉 AI 模型及其底层架构也在持续演进，以跟上需求并提升易用性。早期的计算机视觉系统要求工程师手动定义系统应寻找的内容，例如特定的边缘、颜色或形状。

这些基于规则的方法在受控环境中表现良好，但当光照发生变化、摄像头质量不一致或场景变得更加复杂时，往往会失效。现代视觉 AI 模型采用了不同的方法。

许多开源模型直接从数据中学习视觉模式，因此更加灵活，更适合条件不可预测的现实环境。模型架构的进步也简化了图像和视频的处理方式，使这些系统更易于部署，并更容易集成到实用的视觉 AI 平台中。

Ultralytics YOLO 模型很好地体现了这种转变。诸如YOLO26这样的模型广泛用于需要速度和一致性的对象检测任务，尤其适用于实时视频应用。

探索视觉 AI 的核心任务#

以下是 AI 驱动的视觉系统用来理解视觉信息并简化现实环境的一些核心计算机视觉任务：

• 对象检测：此任务能够让系统识别图像或视频中有哪些对象，并确定它们的位置，通常会在每个对象周围绘制边界框。
• 图像分类： 采用这种方法时，系统会分析整张图像，并根据其整体内容分配一个或多个标签，从而帮助整理视觉内容并为决策提供依据。
• 实例分割： 对于需要更高精度的任务，该任务会在像素级别分解图像，以分离场景中的对象或区域。
• 对象跟踪： 在基于视频的应用中，这项能力可以跨帧跟踪对象，同时保留其身份和随时间变化的运动信息。
• 姿态估计： 它会识别人或对象上的关键点，例如关节或参考点，以确定它们在动态环境中的位置、姿态和运动。

图 3. 使用 YOLO 检测和跟踪车辆（来源）

数据集在视觉 AI 中的作用#

每个高效的视觉 AI 系统背后都有一个精心整理的数据集。这些视觉 AI 数据集提供视觉 AI 模型学习所需的图像和视频，帮助它们在现实环境中识别对象、模式和场景。

数据质量直接影响系统的准确性和可靠性。为了让视觉数据发挥作用，需要对数据集进行标注。这意味着要向每张图像或每段视频添加重要细节，例如标注对象、突出显示特定区域或分配类别。

除了标签之外，还可以加入时间、位置或场景类型等额外元数据，以帮助整理数据并提升理解能力。数据集通常还会划分为训练集、验证集和测试集，以便在系统未见过的视觉内容上进行评估。

ImageNet、COCO 和 Open Images 等热门数据集通过提供大量、多样化的标注图像，在推动视觉 AI 发展方面发挥了重要作用。即便如此，收集现实世界数据仍然很困难。

偏差、覆盖范围不足以及不断变化的环境，都让人难以创建真正反映现实条件的数据集。在大规模场景下获得适当的数据平衡，是构建可靠视觉 AI 系统的关键。

了解各种视觉 AI 应用场景#

现在我们已经更好地了解了视觉 AI 的工作原理，接下来看看它如何应用于现实场景。在许多行业中，视觉 AI 帮助团队大规模处理视觉任务，从而实现更快的响应和更高效的运营。

以下是视觉 AI 在不同行业中的一些常见应用方式：

• 制造业： 在工厂车间，视觉 AI 可用于监控产品经过生产各个阶段的过程。它可以及早发现缺陷、缺少的部件或不一致之处，帮助团队减少返工、保持质量并避免意外停机。
• 零售业： 在零售场所，视觉 AI 解决方案可以跟踪库存、检查货架状况并减少损耗。通过分析店内视觉内容，这些系统可以帮助员工更轻松地了解现场情况，并更快地进行调整，使运营顺利进行。
• 医疗保健： 视觉 AI 可以通过协助查看扫描图像或检测结果等医学图像，为医疗专业人员提供支持。它能够标记可能需要进一步关注的区域，让临床医生更高效地工作，同时将最终决策留在人手中。
• 交通运输和智慧城市： 在道路和公共场所，视觉 AI 能够帮助城市监控交通流量、检测事件并进一步提升安全性。对摄像头画面进行实时分析，可以更快地响应变化中的情况，并支持更好的城市基础设施管理。

图 4. 在制造业中使用视觉 AI 自动监控产品（来源）

视觉 AI 工具的优缺点#

以下是在现实应用中使用视觉 AI 的一些主要优势：

• 跨应用场景扩展： 训练完成后，视觉 AI 系统只需进行极少更改，就可以部署到多个地点或应用中。
• 更快速的 AI 辅助： 视觉 AI 驱动的系统可以在图像和视频采集时进行分析，提供实时洞察，从而支持更快的响应和更好的决策。
• 轻松集成到现有工作流： 视觉 AI 的输出可以连接到下游系统、仪表板或自动化流程。

尽管有这些优势，但仍有一些限制因素会影响视觉 AI 系统的表现。以下是你需要注意的一些因素：

• 依赖数据质量和可用性： 视觉 AI 系统在很大程度上依赖规模大且准备充分的数据集。收集和维护高质量视觉数据可能耗时且成本高昂。
• 对环境变化敏感： 当摄像头移动、光照变化或场景发生显著改变，而系统未经过重新训练或调整时，性能可能会下降。
• 计算和基础设施要求： 运行视觉 AI 模型，尤其是在实时或大规模场景下运行，可能需要大量计算资源和专用硬件。

要点总结#

视觉 AI 将图像和视频转化为系统能够理解和使用的有意义信息。这有助于自动执行视觉任务，并支持更快速、更可靠的决策。其有效性取决于高性能模型、高质量数据集和设计良好的工作流协同工作。

对视觉 AI 感兴趣？加入我们的社区，了解农业中的计算机视觉以及汽车行业中的视觉 AI。查看我们的许可选项，开始使用计算机视觉。访问我们的GitHub 代码仓库，继续探索 AI。