上手体验 YOLO-World

计算机视觉项目通常需要花费大量时间来标注数据和训练 object detection 模型。不过，这种情况可能很快就会成为过去。腾讯 AI 实验室于 2024 年 1 月 31 日发布了 YOLO-World，这是一个实时、开放词汇的目标检测模型。YOLO-World 是一个零样本模型，这意味着你无需对其进行训练即可在图像上运行目标检测推理。

零样本模型有潜力改变我们处理计算机视觉应用的方式。在本篇博客中，我们将探讨 YOLO-World 的工作原理及其潜在用途，并分享一个实用的代码示例，帮助你快速上手。

深入了解 YOLO-World#

你可以向 YOLO-World 模型输入一张图像和一段描述你所寻找目标的文本提示词。例如，如果你对在照片中找到“穿着红色衬衫的人”感兴趣，YOLO-World 会接收此输入并开始工作。

该模型独特的架构结合了三个主要元素：

• 一个基于 Ultralytics YOLOv8 目标检测模型的检测器，用于分析图像的视觉内容。
• 一个由 OpenAI 的 CLIP 预训练的文本编码器，专门用于理解你的文本提示词。
• 一个网络，即视觉-语言路径聚合网络 (RepVL-PAN)，它将处理后的图像数据与文本数据进行整合。

YOLO 检测器扫描你的输入图像以识别潜在目标。文本编码器将你的描述转换为模型能够理解的格式。这两股信息流随后通过 RepVL-PAN 使用多级跨模态融合进行合并。这让 YOLO-World 能够精确地检测并定位图像中提示词所描述的目标。

来自 YOLO-World 的结果示例。

选择 YOLO-World 的优势#

使用 YOLO-World 的最大优势之一是你不必针对特定类别训练模型。它已经从图像和文本对中学习过，因此它知道如何根据描述找到目标。你可以避免数小时的收集数据、标注数据、在昂贵的 GPU 上进行训练等繁琐工作。

以下是使用 YOLO-World 的其他一些好处：

• 实时性能 - YOLO-World 支持与原始 YOLO 架构相同的实时性能。它非常适合需要即时目标检测的应用，例如自动驾驶车辆和监控系统。
• Instance Segmentation - YOLO-World 可以清晰地勾勒并分离图片中的物体，即使这些物体在训练过程中并未被专门教过。
• 效率 - YOLO-World 将高精度与计算效率相结合，使其在实际应用中非常实用。其精简的架构使得在无需过度消耗处理能力的情况下实现快速目标检测成为可能。

YOLO-World 的应用场景#

YOLO-World 模型可用于多种多样的应用。让我们探索其中的一些。

制造业中的质量控制#

在流水线上制造的产品在包装前会进行外观缺陷检查。缺陷检测通常由人工完成，这既耗时又容易导致失误。这些失误可能会导致高昂成本以及需要返修或召回等问题。为了解决这个问题，人们专门开发了机器视觉相机和 AI 系统来执行这些检查。

YOLO-World 模型在这一领域取得了重大进展。得益于其零样本能力，即使在没有针对特定问题进行训练的情况下，它们也能发现产品的缺陷。例如，一家制造水瓶的工厂可以利用 YOLO-World 轻松识别瓶盖密封完好的瓶子与缺少瓶盖或瓶盖有缺陷的瓶子之间的区别。

瓶盖检查示例。

机器人技术#

YOLO-World 模型允许机器人与陌生的环境进行交互。无需针对室内可能出现的特定物体进行训练，它们仍然可以识别出存在哪些物体。因此，假设一个机器人进入了一个它从未去过的房间。使用 YOLO-World 模型，即使它没有经过针对这些物品的专门训练，仍然可以识别出椅子、桌子或灯等物体。

除了目标检测之外，得益于其“提示后检测”功能，YOLO-World 还可以确定这些物体的状态。例如，在农业机器人中，通过编程让机器人进行检测，它可以用来识别成熟的水果和未成熟的水果。

汽车工业中的 AI#

汽车工业涉及许多移动部件，而 YOLO-World 可用于各种汽车应用。例如，在汽车维修方面，YOLO-World 无需手动标记或大量预训练即可识别各种物体的能力极其有用。YOLO-World 可用于识别需要更换的汽车零件。它甚至可以自动化质量检查任务，检测新车中的缺陷或缺失部件。

另一个应用是自动驾驶汽车中的零样本目标检测。YOLO-World 的零样本检测能力可以提高自动驾驶车辆在道路上实时检测和分类物体（如行人、交通标志和其他车辆）的能力。通过这样做，它可以帮助检测障碍物并防止事故发生，从而带来更安全的旅程。

道路目标检测示例。

零售店库存管理#

识别零售商店货架上的商品是跟踪库存、维护存货和自动化流程的重要部分。Ultralytics YOLO-World 无需手动标记或大量预训练即可识别各种物体的能力，对库存管理极其有用。

例如，在库存管理中，YOLO-World 可以迅速发现并分类货架上的物品，例如不同品牌的能量饮料。零售店可以保持准确的库存，高效管理库存水平，并顺畅供应链运营。

所有的应用都是独特的，展示了 YOLO-World 的使用范围之广。接下来，让我们动手实践 YOLO-World，并看一个代码示例。

代码讲解#

正如我们之前提到的，YOLO-World 可用于检测汽车的不同部件以进行维修。一个检测维修需求的计算机视觉应用将涉及拍摄汽车照片、识别汽车零件、检查每个零件是否有损坏，并推荐维修方案。这个系统的每个部分都将使用不同的 AI 技术和方法。为了本次代码讲解的目的，让我们专注于检测汽车零件的部分。

使用 YOLO-World，你可以在 5 分钟内识别出图像中的不同汽车零件。你也可以扩展此代码，使用 YOLO-World 尝试不同的应用！首先，我们需要通过 pip 安装 Ultralytics package，如下所示。

有关安装过程的更多说明和最佳实践，请查看我们的 Ultralytics Installation 指南。在安装 YOLOv8 所需的软件包时，如果遇到任何困难，请查看我们的 Common Issues guide 以获取解决方案和提示。

安装所需的包后，我们可以从互联网上下载一张图片来运行我们的推理。我们将使用下图。

我们的输入图像。

然后，我们将导入所需的包，初始化我们的模型，并设置我们在输入图像中要寻找的类别。在这里，我们对以下类别感兴趣：汽车、车轮、车门、车镜和车牌。

接下来，我们将使用 predict 方法，提供图像路径以及最大检测数量、交并比 (IoU) 和置信度 (conf) 的阈值参数，以对图像运行推理。最后，检测到的目标被保存到一个名为 'result.jpg' 的文件中。

生成的输出图像将保存到你的文件中。

我们的输出图像。

如果你想在不写代码的情况下看看 YOLO-World 能做什么，你可以访问 YOLO-World 演示页面，上传一张输入图像，并输入自定义类别。

阅读我们的 docs page on YOLO-World，了解如何使用自定义类别保存模型，以便稍后直接使用它而无需重复输入自定义类别。

你注意到车门没有被检测到吗？#

如果你再次查看输出图像，你会发现自定义类别“车门”没有被检测到。尽管取得了巨大的成就，YOLO-World 仍有某些局限性。为了克服这些局限性并有效地使用 YOLO-World 模型，使用正确的文本提示类型非常重要。

以下是一些见解：

• YOLO-World 可能不需要高置信度来实现准确预测，因此降低置信度阈值可以提高检测率。
• 添加你并不感兴趣的类别。这将有助于通过减少对次要物体的误报来改善主要的目标检测。
• 在关注较小细节之前先检测较大物体可以提高检测准确率。
• 在你的类别中提及颜色，以便根据颜色线索检测物体。
• 在提示词中描述物体大小也可以帮助 YOLO-World 更准确地识别特定物体。
• 后处理方法，例如按大小过滤预测结果或调整每个类别的置信度，可以进一步改善目标检测结果。

局限是无限的#

总而言之，YOLO-World 模型凭借其先进的目标检测能力，可以成为一个强大的工具。它提供了极高的效率和准确性，并有助于实现各种应用中的不同任务自动化，就像我们实际讨论的识别汽车零件的例子一样。

欢迎探索我们的 GitHub repository，以了解更多关于我们对计算机视觉和 AI 的贡献。如果你对 AI 如何重塑医疗保健技术等行业感到好奇，请查看我们的解决方案页面。像 YOLO-World 这样的创新所带来的可能性似乎是无穷无尽的！