遇见 YOLO26: 下一代视觉 AI。
Ultralytics
Ultralytics YOLO

如何对 Ultralytics YOLO 模型(如 YOLO11)进行基准测试

了解如何基准测试 Ultralytics YOLO11,比较跨设备性能,并探索不同的导出格式以优化速度、精度和效率。

ABAbirami Vina
5 min read
对 Ultralytics YOLO 模型(如 YOLO11)进行基准测试

随着当今 AI 模型数量的不断增长,为你的特定 AI 应用选择最合适的模型对于获得准确、可靠的结果至关重要。每个模型在速度、准确性和整体性能上各不相同。那么,我们如何确定哪种模型最适合给定的任务呢?这对于自动驾驶车辆、安防解决方案和机器人等实时系统尤为重要,因为在这些系统中,快速且可靠的决策至关重要。

基准测试通过在不同条件下评估模型来帮助回答这个问题。它提供了关于模型在各种硬件设置和配置下表现如何的见解,从而实现更明智的决策。

例如,Ultralytics YOLO11 是一款支持目标检测和实例分割等各种视觉数据分析任务的 computer vision 模型。为了充分了解其功能,你可以在不同的设置下对其进行基准测试,以查看它将如何处理实际场景。

在本文中,我们将探讨如何对像 YOLO11 这样的 Ultralytics YOLO models 进行基准测试,比较它们在各种硬件上的性能,并查看不同的导出格式如何影响它们的速度和效率。让我们开始吧!

Link to this section什么是模型基准测试?#

当要在实际应用中使用视觉 AI 模型时,你如何判断它是否足够快速、准确和可靠?对模型进行基准测试可以提供回答这一问题的见解。模型基准测试是测试和比较不同 AI 模型以确定哪一个表现最好的过程。

它涉及设定比较基准,选择正确的性能指标(如准确性或速度),并在相同条件下测试所有模型。结果有助于识别每个模型的优势和劣势,从而更容易决定哪一个最适合你的特定 AI solution。特别是,benchmark dataset 通常用于提供公平的比较,并评估模型在不同实际场景中的表现。

为什么要对计算机视觉模型进行基准测试?

图 1. 为什么要对计算机视觉模型进行基准测试?图片来源:作者。

为什么要进行基准测试的一个明确例子是在监控或机器人等实时应用中,即使是轻微的延迟也可能影响决策。基准测试有助于评估模型是否能在快速处理图像的同时仍然提供可靠的预测。

它在识别性能瓶颈方面也起着关键作用。如果模型运行缓慢或使用了过多的资源,基准测试可以揭示问题是源于硬件限制、模型配置还是导出格式。这些见解对于选择最有效的设置至关重要。

Link to this section模型基准测试与模型评估和测试的对比#

模型基准测试、评估和测试是常被一起使用的热门 AI 术语。虽然相似,但它们并不相同,并且具有不同的功能。Model testing 通过在测试数据集上运行单个模型并测量准确性和速度等因素来检查其表现。与此同时,模型评估更进一步,通过分析结果来了解模型的优势、劣势以及在实际情况下的工作效果。两者都一次只关注一个模型。

然而,模型基准测试使用相同的测试和数据集并排比较多个模型。它通过强调它们之间在准确性、速度和效率方面的差异,帮助找出最适合特定任务的模型。虽然测试和评估侧重于单个模型,但基准测试通过公平地比较不同的选项来帮助选择合适的(或最好的)模型。

模型基准测试与评估及测试的区别

图 2. 模型基准测试与评估和测试的区别。图片来源:作者。

Link to this sectionUltralytics YOLO11 概览#

Ultralytics YOLO11 是一款可靠的视觉 AI 模型,旨在准确执行各种 computer vision tasks。它改进了早期的 YOLO 模型版本,并集成了许多有助于解决实际问题的特性。例如,它可以用于检测目标、分类图像、分割区域、跟踪运动等。它还可以用于从安防到自动化和分析等多个行业的应用中。

使用 YOLO11 对图像中的人物进行分割

图 3。使用 YOLO11 分割图像中的人物的示例。

与 Ultralytics YOLO11 相关的主要优势之一是其易用性。只需几行代码,任何人都可以将其集成到他们的 AI 项目中,而无需处理复杂的设置或高深的技术知识。

它还能在不同的硬件上平稳运行,在 CPU (中央处理器)、GPU (图形处理器) 和其他专用 AI 加速器上高效工作。无论部署在边缘设备还是云服务器上,它都能提供强大的性能。

YOLO11 提供多种模型尺寸,每种尺寸都针对不同任务进行了优化。基准测试有助于确定哪个版本最符合你的特定需求。例如,基准测试可以揭示的一个关键见解是,较小的模型(如 nano 或 small)运行速度往往更快,但可能会牺牲一些准确性。

Link to this section如何对像 YOLO11 这样的 YOLO 模型进行基准测试#

现在我们已经了解了什么是基准测试及其重要性,让我们来介绍一下如何对像 YOLO11 这样的 YOLO 模型进行基准测试,并评估它们的效率以收集有价值的见解。

首先,你可以通过在终端或命令提示符中运行以下命令来安装 Ultralytics Python package:“pip install ultralytics”。如果你在安装过程中遇到任何问题,请查看我们的 Common Issues Guide 以获取故障排除提示。

安装软件包后,你只需几行 Python 代码即可轻松 benchmark YOLO11

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

当你运行上述代码时,它会计算模型处理图像的速度、每秒可以处理的帧数以及它检测目标的准确程度。

代码中提到的 “coco8.yaml” 是指一个基于 COCO8 (Common Objects in Context) 数据集的配置文件——这是完整 COCO 数据集的一个小型示例版本,通常用于测试和实验。

如果你正在针对特定应用(如交通监控或医学成像)测试 YOLO11,使用相关数据集(例如交通数据集或医学数据集)将提供更准确的见解。使用 COCO 进行基准测试可以提供对性能的总体了解,但为了获得最佳结果,你可以选择反映你实际用例的数据集。

Link to this section理解 YOLO11 基准测试输出#

一旦 YOLO11 完成了基准测试,下一步就是解读结果。运行基准测试后,你会在结果中看到各种数字。这些指标有助于评估 YOLO11 在准确性和速度方面的表现。

以下是一些值得关注的 YOLO11 基准测试指标:

  • mAP50-95: 它衡量目标检测的准确性。数值越高,意味着模型识别目标的能力越强。
  • accuracy_top5: 它通常用于分类任务。它显示了正确标签出现在前五个预测中的频率。
  • 推理时间: 处理单个图像所需的时间,以毫秒为单位。数值越低,意味着处理速度越快。

显示 YOLO11 基准测试性能的图表

图 4。显示 YOLO11 基准性能的图表。

Link to this section在基准测试 YOLO11 时需要考虑的其他因素#

仅查看基准测试结果只能说明部分情况。为了更好地了解性能,对比不同的设置和硬件选项非常有帮助。以下是一些需要关注的重要事项:

  • GPU 与 CPU: GPU 处理图像的速度比 CPU 快得多。基准测试可以帮助你了解 CPU 是否足以满足你的需求,或者你是否会从使用 GPU 中受益。
  • 精度设置 (FP32, FP16, INT8): 这些设置控制模型如何处理数字。较低的精度(如 FP16 或 INT8)使模型运行更快并使用更少的内存,但可能会稍微降低准确性。
  • Export formats:将模型转换为像 TensorRT 这样的格式可以使其在特定硬件上运行得快得多。如果你正在针对特定设备优化速度,这非常有用。

Link to this section如何对不同硬件上的 YOLO11 进行基准测试#

Ultralytics Python 软件包允许你将 YOLO11 模型转换为在特定硬件上运行效率更高的不同格式,从而提高速度并优化内存使用。每种导出格式都针对不同的设备进行了优化。

一方面,ONNX format 可以加快在各种环境下的性能。另一方面,OpenVINO 提高了在 Intel 硬件上的效率,而像 CoreML 或 TF SavedModel 这样的格式则是 Apple 设备和移动应用的理想选择。

让我们看看如何以特定格式对 YOLO11 进行基准测试。下面的代码以 ONNX 格式对 YOLO11 进行基准测试,该格式广泛用于在 CPU 和 GPU 上运行 AI 模型。

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

除了基准测试结果外,选择正确的格式还取决于你的系统规格和部署需求。例如,self-driving cars 需要快速的目标检测。如果你计划使用 NVIDIA GPU 来加速性能,那么 TensorRT 格式是在 NVIDIA GPU 上运行 YOLO11 的理想选择。

在自动驾驶汽车中使用 YOLO11 进行目标检测

图 5. 在自动驾驶汽车中使用 YOLO11 进行目标检测。

Link to this section关键要点#

Ultralytics Python 软件包通过提供可以为你处理性能测试的简单命令,使得对 YOLO11 的基准测试变得简单。只需几个步骤,你就可以了解不同的设置如何影响模型的速度和准确性,从而帮助你无需深厚的技术专长即可做出明智的选择。

合适的硬件和设置也会产生巨大的差异。调整模型尺寸和数据集等参数可以让你微调 YOLO11 以获得最佳性能,无论你是在高端 GPU 上运行它,还是在边缘设备上本地运行它。

our community 建立联系,并在 our GitHub repository 上探索尖端的 AI 项目。通过我们的解决方案页面了解 AI in agriculture 的影响以及 computer vision in manufacturing 的作用。探索 our licensing plans 并立即开始你的 AI 之旅!

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅