生成式 AI 正在改变计算机视觉的发展方向

生成式 AI是人工智能（AI）的一个分支，它通过学习现有数据中的模式来创建图像、文本或音频等新内容。得益于近期的技术进步，它如今能够生成高度逼真的内容，往往能模仿人类的创造力。

然而，生成式 AI 的影响远不止内容创作。随着 Ultralytics YOLO 模型等实时计算机视觉模型不断发展，生成式 AI 也在重新定义视觉数据的处理和增强方式，为现实场景中的创新应用铺平道路。

这项新的技术变革是 YOLO Vision 2024（YV24）上的一个有趣话题。YV24 是由 Ultralytics 主办的年度线上线下混合活动。来自 AI 领域的爱好者和行业领袖齐聚 YV24，共同探讨计算机视觉领域的最新突破。活动聚焦创新、效率以及实时 AI 解决方案的未来。

活动的一大亮点是题为生成式 AI 时代的 YOLO的专题讨论。参与嘉宾包括 Ultralytics 创始人兼首席执行官 Glenn Jocher、Ultralytics 高级机器学习工程师 Jing Qiu，以及清华大学的 Ao Wang。他们探讨了生成式 AI 如何影响计算机视觉，以及构建实用 AI 模型所面临的挑战。

本文将回顾他们讨论中的关键见解，并深入了解生成式 AI 如何改变视觉 AI。

开发 Ultralytics YOLO 模型#

除了 Glenn Jocher，许多优秀工程师也在 Ultralytics YOLO 模型的开发中发挥了重要作用。其中一位工程师 Jing Qiu 讲述了自己与 YOLO 的意外结缘。他解释说，自己在大学期间开始对 AI 产生兴趣，并花了大量时间探索和学习这一领域。Jing Qiu 回忆了自己如何在 GitHub 上结识 Glenn Jocher，并参与各种 AI 项目。

接着 Jing Qiu 的话题，Glenn Jocher 将 GitHub 描述为“一种了不起的分享方式——素未谋面的人聚在一起互相帮助，为彼此的工作贡献力量。这是一个很棒的社区，也是开启 AI 之旅的绝佳方式。”

图 1。Glenn Jocher 和 Jing Qiu 在 YV24 舞台上发言。

Jing Qiu 对 AI 的兴趣以及他在 Ultralytics YOLOv5上的工作帮助改进了该模型。后来，他在开发 Ultralytics YOLOv8的过程中发挥了重要作用，带来了进一步改进。他称这是一段不可思议的旅程。如今，Jing Qiu 仍在持续改进并开发 Ultralytics YOLO11等模型。

YOLOv10：针对真实场景性能进行优化#

Ao Wang 从中国远程参加了专题讨论，并介绍自己是一名博士生。他最初学习软件工程，但对 AI 的热情促使他转向计算机视觉和深度学习领域。

他第一次接触著名的 YOLO 模型，是在尝试各种 AI 技术和模型时。他对模型的速度和精度印象深刻，因此开始深入研究目标检测等计算机视觉任务。最近，Ao Wang 为 YOLOv10做出了贡献，这是 YOLO 模型的一个新版本。他的研究重点是优化模型，使其速度更快、精度更高。

生成式 AI 与视觉 AI 的主要区别#

随后，专题讨论转向生成式 AI。Jing Qiu 指出，生成式 AI 和视觉 AI 的用途大不相同。生成式 AI 会创建或生成文本、图像和视频等内容，而视觉 AI 则分析已有内容，主要是图像。

Glenn Jocher 还强调了模型规模方面的巨大差异。生成式 AI 模型规模庞大，通常包含数十亿个参数，也就是帮助模型从数据中学习的内部设置。计算机视觉模型则小得多。他说：“我们最小的 YOLO 模型大约比最小的 LLM [大型语言模型]小一千倍。所以，前者有 300 万个参数，后者有 30 亿个。”

图 2。YV24 上关于生成式 AI 和视觉 AI 的专题讨论。

Jing Qiu 补充说，生成式 AI 和计算机视觉的训练与部署流程也大不相同。生成式 AI 需要大型高性能服务器才能运行。而 YOLO 等模型则专为高效运行而设计，可以在标准硬件上训练和部署。因此，Ultralytics YOLO 模型更适合在真实场景中使用。

尽管二者各不相同，这两个领域正开始相互交融。Glenn Jocher 进一步说明，生成式 AI 正在为视觉 AI 带来新的进展，让模型变得更智能、更高效。

生成式 AI 对计算机视觉的影响#

生成式 AI 迅速发展，这些突破也正在影响人工智能的许多其他领域，包括计算机视觉。接下来，我们来了解专题讨论中关于这一点的一些精彩见解。

硬件进步推动 AI 创新#

在讨论开始时，Glenn Jocher 解释说，机器学习理念早已存在，但当时的计算机性能不足以让这些理念落地。AI 理念需要更强大的硬件才能成为现实。

过去 20 年里，具备并行处理能力的 GPU（图形处理器）兴起，改变了一切。GPU 大幅提升了 AI 模型训练的速度和效率，推动深度学习快速发展。

如今，TPU（张量处理器）等 AI 芯片和经过优化的 GPU 在处理更大、更复杂的模型时，能耗更低。这让 AI 更容易普及，也更适用于真实场景。

随着硬件不断改进，生成式 AI 和计算机视觉应用都变得更加强大。这些进展让实时 AI 速度更快、效率更高，也使其能够应用于更多行业。

生成式 AI 如何塑造目标检测模型#

当被问及生成式 AI 如何影响计算机视觉时，Jing Qiu 表示，Transformer是一类帮助 AI 聚焦图像中最重要部分的模型，它改变了 AI 理解和处理图像的方式。第一个重大进展是 DETR（检测 Transformer），它将这种新方法用于目标检测。该方法提高了准确性，但也存在性能问题，在某些情况下会导致速度变慢。

为了解决这个问题，研究人员创建了RT-DETR等混合模型。这些模型结合了卷积神经网络（CNN，即能够自动从图像中学习并提取特征的深度学习模型）和 Transformer，在速度与精度之间取得平衡。这种方法利用了 Transformer 的优势，同时让目标检测变得更快。

有趣的是，YOLOv10 使用基于 Transformer 的注意力层（模型中类似聚光灯的部分，可突出图像中最重要的区域并忽略不太相关的细节）来提升性能。

Ao Wang 还提到，生成式 AI 正在改变模型的训练方式。掩码图像建模等技术可以帮助 AI 更高效地从图像中学习，减少对大量人工标注数据集的需求，从而让计算机视觉训练更快、所需资源更少。

生成式 AI 与视觉 AI 的未来#

专题讨论还探讨了一个关键观点：生成式 AI 和视觉 AI 如何结合，从而构建能力更强的模型。Glenn Jocher 解释说，虽然这两种方法各有所长，但将它们结合起来可能会带来新的可能性。

例如，YOLO 等视觉 AI 模型通常会将图像划分为网格来识别目标。这种基于网格的方法可以帮助语言模型更准确地定位细节并对其进行描述，从而应对许多语言模型目前面临的挑战。本质上，结合这些技术可能会带来能够准确检测并清晰解释所见内容的系统。一些视觉语言模型已经能够同时做到这两点，而 VLM Leaderboard会跟踪它们的目标检测表现。

图 3。生成式 AI 与视觉 AI 的未来。图片由作者提供。

要点#

生成式 AI 和计算机视觉正在共同进步。生成式 AI 能够创建图像和视频，同时也通过带来可能提升视觉 AI 模型精度和效率的新思路，改善图像和视频分析。

在 YV24 的这场专题讨论中，Glenn Jocher、Jing Qiu 和 Ao Wang 分享了他们对这些技术如何塑造未来的看法。随着 AI 硬件不断进步，生成式 AI 和视觉 AI 将持续发展，带来更多创新。这两个领域正携手打造更智能、更快速、更实用、适用于日常生活的 AI。

加入我们的社区，并探索我们的 GitHub 仓库，了解更多计算机视觉 AI。查看我们的许可选项，开启你的计算机视觉项目。对制造业中的 AI或自动驾驶中的计算机视觉等创新方向感兴趣？访问我们的解决方案页面，了解更多。