什么是 YOLOE？拓展计算机视觉模型的能力

目标检测是一项关键的计算机视觉任务，旨在识别图像或视频中的物体并确定其位置。它是计算机视觉的重要组成部分。计算机视觉是人工智能 (AI) 的一个领域，能让机器理解和解读视觉数据。例如，目标检测可以帮助识别图片中的汽车，或发现视频画面中的人。

支持计算机视觉任务（例如目标检测）的知名模型系列之一是 YOLO（You Only Look Once）系列。YOLO 模型以速度和准确度为设计目标，性能不断提升。例如，Ultralytics YOLO11（其后继版本为 Ultralytics YOLO26）在真实场景中表现出色，即使在更复杂的环境下也能提供准确结果。

为了进一步推动这一进展，名为 YOLOE 的新模型旨在扩展 YOLO 模型的能力。传统模型需要重新训练才能识别新物体，而 YOLOE 可以根据简单的文本或图像提示检测从未见过的物体，因此更能适应不断变化的环境。

在本文中，我们将深入了解 YOLOE 的独特之处、它与之前 YOLO 模型的比较，以及如何立即开始使用它。

YOLOE 概览#

YOLOE 是一种进一步拓展目标检测能力的计算机视觉模型。该模型由清华大学的研究人员于 2025 年 3 月推出。YOLOE 与传统模型的不同之处在于采用了开放词汇检测。

大多数模型都经过训练，只能识别固定列表中的物体；而 YOLOE 允许你通过简短描述或示例图像指定要查找的内容。例如，如果你要查找“绿色背包”，可以输入这段描述，也可以向模型展示一张照片，YOLOE 就会在场景中定位它。

此外，即使没有任何提示，YOLOE 也能自行检测许多日常物体。这种识别从未见过的物体的能力称为零样本检测。这项能力在任务或关注物体可能意外变化的动态环境中特别有用。

图 1. YOLOE 功能一览。

YOLOE 的主要特性#

YOLOE支持多种功能，旨在提升其在实际应用中的性能。凭借处理结构化和非结构化输入的能力，YOLOE 为目标检测和分割开辟了新的可能性。

以下是该模型提供的一些主要特性：

• 基于提示的检测： YOLOE 可以根据简短的文本提示或示例图像查找物体。这意味着每次任务发生变化时，你都不必重新训练模型；只需描述或展示你要查找的内容即可。
• 实例分割：除了在物体周围绘制边界框，YOLOE 还可以通过实例分割勾勒出物体的精确形状。当物体相互重叠，或你需要了解物体的精确边界时，这项功能尤其有用。
• 无提示物体识别： 即使没有具体指令，YOLOE 也能识别物体。它会使用一组预先学习的描述快速识别物体，让整个过程更快、更高效。

YOLOE 与其他 YOLO 模型的比较#

现在我们对 YOLOE 有了更深入的了解，接下来看看 YOLO 系列中一些与之相似的模型。

随着计算机视觉的发展，YOLO 模型也在不断进步。例如，Ultralytics YOLOv8新增了分割和分类等任务支持，而后续版本（如 Ultralytics YOLO11）则着重提升了模型在更多任务中的准确性和性能。

此外，YOLO-World于 2024 年 1 月发布，并引入了使用文本提示的能力，让用户可以描述想要查找的物体。YOLO-World 是零样本检测的理想选择，但缺少实例分割和视觉提示支持等功能。

YOLOE 在 YOLO-World 的基础上增加了这些功能，提升了灵活性和性能，并为现实世界中的计算机视觉应用提供了更具实用价值的工具。想了解开放词汇检测器和视觉语言模型在真实检测数据集上的表现对比，请查看 Ultralytics VLM 排行榜。

图 2. YOLO-World 和 YOLOE 均支持零样本检测。

使用 Ultralytics Python 包运行 YOLOE#

无论你想检测特定物体，还是探索图像中的所有内容，开始使用 YOLOE 都很简单。Ultralytics Python 包支持该模型，因此你可以轻松将其集成到项目中。接下来，我们来看看如何使用它。

安装 Ultralytics 包#

第一步是使用 pip 等包管理器安装 Ultralytics Python 包。你可以在终端或命令提示符中运行 pip install ultralytics 来完成安装。

安装好软件包后，你就可以加载模型、进行预测并尝试不同的检测模式。如果在安装过程中遇到问题，可以查阅 Ultralytics 官方文档中的故障排除部分。

你可以通过几种不同的方式使用 YOLOE 进行预测。进行预测就是使用训练好的模型识别图像或视频中的物体并确定其位置。你可以根据自己的具体需求，选择不同的方式与模型交互。

下面我们逐一讨论这些方法。

使用文本或图像提示检测特定物体#

YOLOE 可以根据简短的文本描述检测物体。例如，如果你要查找一匹正在运动的马，可以使用“马在走路”这样的提示。

首先，加载预训练的 YOLOE 模型，然后设置提示（即你希望模型查找内容的描述），如下方代码片段所示。

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

设置好模型和提示后，你就可以在图像或视频上运行模型。将代码中的文件路径替换为你的图像或视频文件路径：

results = model.predict("path/to/your/image.jpg")
results[0].show()

这会根据你的提示显示图像，并清晰标出检测到的物体。你可以根据要查找的内容更改提示，例如“红色行李箱”“自行车”或“斑马”。

图 3. 使用 YOLOE 根据文本提示检测特定物体的示例。

同样，你也可以通过 Ultralytics Python 包使用图像向 YOLOE 提供提示。在视觉提示模式下，模型会利用图像，在另一个场景中查找外观相似的物体。这对于难以描述或缺少明确标签的物体尤其有用。

要详细了解相关代码，可以查看 Ultralytics 文档。

使用 YOLOE 进行通用目标检测#

有时，你可能不确定具体要查找什么，也可能没有特定的目标物体。这时，无提示模式就派上用场了。

使用此模式时，你无需输入描述或提供示例图像。YOLOE 会自行分析图像并检测所有能识别的内容，例如人、动物、家具或日常物体。

这种方式有助于你在不给模型任何具体指令的情况下探索场景。无论你是在扫描拥挤的房间，还是在查看活动频繁的录像，无提示模式都能让你快速了解图像中有哪些内容。

你可以使用以下代码在无提示模式下运行 YOLOE。首先加载模型，然后由模型处理图像并自动检测其中的物体。最后显示检测结果，并突出显示检测到的物体。

请务必将文件路径替换为图像的实际路径。

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

下图展示了 YOLOE 在无提示模式下能够检测到的内容。

图 4. 在无提示模式下使用 YOLOE。

YOLOE 的实时应用#

YOLOE 能够响应文本和图像提示，因此是适用于实时应用的可靠工具。在节奏快速、时机和准确性至关重要的环境中，它的灵活性尤其有用。

下面我们来看看 YOLOE 在现实中的一些应用示例。

改进行李处理：实时行李检测#

在繁忙的机场，查找特定行李可能很困难，尤其是在处理丢失行李时。YOLOE 可以帮助扫描实时视频，并根据“红色包”等简单提示快速识别物品，从而简化这一流程。

如果行李丢失或放错位置，工作人员可以轻松更改提示，查找其他物品，例如“黑色行李箱”。这种即时调整能力有助于机场工作人员快速找到正确的行李，无需查看数小时的录像或重新训练模型，从而更快速、高效地处理行李和解决行李丢失问题。

使用 YOLOE 监控公共场所#

拥挤的集市和咖啡馆等公共场所的监控录像中，通常会出现各种各样的人、物体和活动，而且这些内容会随时间变化。YOLOE 可以使用无提示模式实时分析这些录像，无需具体指令就能自动检测包、桌子或自行车等物品。

图 5. YOLOE 可以检测繁忙公共场所中的各种物体。

这对于安保团队发现无人看管的物品或追踪人群流动尤其有用。YOLOE 能够一次检测多个物体，因此团队在活动期间或繁忙时段更容易管理公共场所，并及时掌握情况、做出响应。

YOLOE 的优缺点#

以下是使用 YOLOE 进行计算机视觉应用的一些主要优势：

• 实时性能： YOLOE 针对快速、高效的处理进行了优化，因此即使在实时视频流或繁忙公共场所等动态环境中，也能实现实时检测。
• 可扩展性：YOLOE 具备良好的可扩展性，适用于多种应用场景，从安全和监控到零售、医疗保健和自动驾驶汽车。
• 易于使用： Ultralytics Python 包支持 YOLOE，因此你可以轻松将其集成到现有的计算机视觉项目中。

不过，使用 YOLOE 时也有一些局限性需要注意。以下是几个需要考虑的因素：

• 需要充足的训练数据： 尽管 YOLOE 支持零样本检测，但它在未见过的物体上的表现取决于其从训练数据中泛化的能力。在某些情况下，要在高度专业化的任务中取得良好表现，可能需要额外的数据或微调。
• 对输入质量敏感： 图像或视频质量较低可能会影响模型的准确性。模糊或光线不足的输入会降低模型准确检测物体的能力，因此要获得最佳性能，输入质量至关重要。

要点#

YOLOE 允许用户通过文本或图像提示引导检测，为计算机视觉带来了更高的灵活性。它适用于场景快速变化且无法重新训练模型的真实环境。

从行李处理到公共场所监控，YOLOE 都能轻松适应新任务。随着 AI 越来越普及，YOLOE 这类模型正帮助更多行业以实用、高效的方式应用视觉技术。

加入我们的社区，并探索我们的 GitHub 代码仓库，了解更多 AI 创新成果。访问我们的解决方案页面，了解零售领域的 AI和医疗保健领域的计算机视觉等领域的最新进展。查看我们的许可选项，立即开始使用计算机视觉！