Как проводить бенчмаркинг моделей Ultralytics YOLO, например YOLO11

С ростом числа доступных сегодня моделей AI выбор наиболее подходящей для конкретного AI-приложения становится необходимым условием получения точных и надежных результатов. Каждая модель отличается скоростью, точностью и общей производительностью. Так как определить, какая модель лучше всего подходит для конкретной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, решения для безопасности и робототехника, где критически важны быстрые и надежные решения.

Бенчмаркинг помогает ответить на этот вопрос, оценивая модель в разных условиях. Он показывает, насколько хорошо модель работает на различных аппаратных конфигурациях и настройках, помогая принимать более обоснованные решения.

Например, Ultralytics YOLO11 — это модель для компьютерного зрения, которая поддерживает различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, ты можешь сравнить ее производительность на разных конфигурациях и узнать, как она будет работать в реальных сценариях.

В этой статье мы рассмотрим, как сравнивать модели Ultralytics YOLO, например YOLO11, сопоставлять их производительность на различном оборудовании и оценивать влияние разных форматов экспорта на скорость и эффективность. Давай начнем!

Что такое бенчмаркинг моделей?#

Если ты используешь модель AI для компьютерного зрения в реальном приложении, как понять, достаточно ли она быстрая, точная и надежная? Бенчмаркинг модели помогает ответить на этот вопрос. Бенчмаркинг моделей — это процесс тестирования и сравнения различных моделей AI, чтобы определить, какая из них работает лучше всего.

Он включает определение базового уровня для сравнения, выбор подходящих показателей производительности (например, точности или скорости) и тестирование всех моделей в одинаковых условиях. Результаты помогают определить сильные и слабые стороны каждой модели, благодаря чему проще выбрать наиболее подходящую для конкретного AI-решения. В частности, для объективного сравнения и оценки работы модели в различных реальных сценариях часто используется эталонный датасет.

Рис. 1. Зачем сравнивать модели компьютерного зрения? Изображение автора.

Наглядный пример важности бенчмаркинга — приложения реального времени, такие как системы наблюдения или робототехника, где даже небольшие задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, способна ли модель быстро обрабатывать изображения и при этом выдавать надежные прогнозы.

Он также играет важную роль в выявлении узких мест производительности. Если модель работает медленно или потребляет слишком много ресурсов, бенчмаркинг может показать, связана ли проблема с ограничениями оборудования, настройками модели или форматами экспорта. Эти сведения крайне важны для выбора наиболее эффективной конфигурации.

Бенчмаркинг моделей, оценка и тестирование моделей#

Бенчмаркинг, оценка и тестирование моделей — популярные термины в AI, которые часто используются вместе. Хотя эти понятия похожи, они не идентичны и выполняют разные функции. Тестирование модели проверяет, насколько хорошо работает одна модель, запуская ее на тестовом датасете и измеряя такие показатели, как точность и скорость. Оценка модели идет дальше: она анализирует результаты, чтобы понять сильные и слабые стороны модели и то, насколько хорошо она работает в реальных условиях. Оба подхода сосредоточены на одной модели за раз.

Бенчмаркинг моделей, напротив, сравнивает несколько моделей бок о бок с использованием одинаковых тестов и датасетов. Он помогает определить, какая модель лучше всего подходит для конкретной задачи, показывая различия между ними по точности, скорости и эффективности. Если тестирование и оценка сосредоточены на одной модели, то бенчмаркинг помогает выбрать подходящую (или лучшую), объективно сравнивая разные варианты.

Рис. 2. Чем бенчмаркинг моделей отличается от оценки и тестирования. Изображение автора.

Обзор Ultralytics YOLO11#

Ultralytics YOLO11 — надежная модель AI для компьютерного зрения, предназначенная для точного выполнения различных задач компьютерного зрения. Она превосходит предыдущие версии моделей YOLO и оснащена функциями, помогающими решать реальные задачи. Например, ее можно использовать для обнаружения объектов, классификации изображений, сегментации областей, отслеживания перемещений и многого другого. Она также подходит для приложений в самых разных отраслях — от безопасности до автоматизации и аналитики.

Рис. 3. Пример использования Ultralytics YOLO11 для сегментации людей на изображении.

Одно из ключевых преимуществ Ultralytics YOLO11 — простота использования. Всего несколько строк кода позволяют интегрировать ее в AI-проекты без сложной настройки и глубоких технических знаний.

Она также стабильно работает на различном оборудовании, эффективно выполняясь на CPU (центральных процессорах), GPU (графических процессорах) и других специализированных AI-ускорителях. При развертывании на периферийных устройствах или облачных серверах она обеспечивает высокую производительность.

Ultralytics YOLO11 доступна в моделях разных размеров, каждая из которых оптимизирована для различных задач. Бенчмаркинг помогает определить, какая версия лучше всего соответствует твоим потребностям. Например, один из важных выводов бенчмаркинга может заключаться в том, что меньшие модели, такие как nano или small, обычно работают быстрее, но могут уступать в точности.

Как сравнивать модели YOLO, например Ultralytics YOLO11#

Теперь, когда мы разобрались, что такое бенчмаркинг и почему он важен, давай рассмотрим, как сравнивать модели YOLO, например Ultralytics YOLO11, и оценивать их эффективность, чтобы получить полезные сведения.

Для начала установи пакет Ultralytics для Python, выполнив следующую команду в терминале или командной строке: «pip install ultralytics». Если во время установки возникнут проблемы, загляни в наше руководство «Распространенные проблемы», где приведены советы по их устранению.

После установки пакета ты можешь легко сравнить Ultralytics YOLO11, используя всего несколько строк кода Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

При запуске приведенного выше кода рассчитывается, насколько быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно обнаруживает объекты.

Упоминание «coco8.yaml» в коде означает файл конфигурации датасета на основе датасета COCO8 (объекты в контексте) — небольшой демонстрационной версии полного датасета COCO, которую часто используют для тестирования и экспериментов.

Если ты тестируешь Ultralytics YOLO11 для конкретного приложения, например мониторинга дорожного движения или анализа медицинских изображений, использование релевантного датасета (например, датасета дорожного движения или медицинского датасета) даст более точное представление о результатах. Бенчмаркинг на COCO дает общее представление о производительности, но для лучших результатов можно выбрать датасет, отражающий твой реальный сценарий использования.

Как интерпретировать результаты бенчмаркинга Ultralytics YOLO11#

После бенчмаркинга Ultralytics YOLO11 следующий шаг — интерпретация результатов. После запуска бенчмарка ты увидишь в результатах различные числа. Эти метрики помогают оценить, насколько хорошо YOLO11 работает с точки зрения точности и скорости.

Вот несколько важных метрик бенчмаркинга Ultralytics YOLO11, на которые стоит обратить внимание:

• mAP50-95: измеряет точность обнаружения объектов. Чем выше значение, тем лучше модель распознает объекты.
• accuracy_top5: обычно используется для задач классификации. Показывает, как часто правильная метка оказывается среди пяти наиболее вероятных предсказаний.
• Время инференса: время, необходимое для обработки одного изображения, измеряется в миллисекундах. Чем ниже значение, тем быстрее обработка.

Рис. 4. График производительности YOLO11 в бенчмарке.

Другие факторы, которые следует учитывать при бенчмаркинге Ultralytics YOLO11#

Одни результаты бенчмаркинга показывают лишь часть картины. Чтобы лучше понять производительность, полезно сравнить разные настройки и варианты оборудования. Вот несколько важных аспектов, на которые стоит обратить внимание:

• GPU и CPU: GPU могут обрабатывать изображения значительно быстрее CPU. Бенчмаркинг помогает понять, достаточно ли быстр CPU для твоих задач или тебе будет полезно использовать GPU.
• Настройки точности (FP32, FP16, INT8): они определяют, как модель работает с числами. Более низкая точность (например, FP16 или INT8) ускоряет работу модели и снижает потребление памяти, но может немного уменьшить точность.
• Форматы экспорта: преобразование модели в формат, например TensorRT, может значительно ускорить ее работу на определенном оборудовании. Это полезно, если ты оптимизируешь скорость для конкретных устройств.

Как сравнивать Ultralytics YOLO11 на разном оборудовании#

Пакет Ultralytics для Python позволяет преобразовывать модели YOLO11 в разные форматы, которые эффективнее работают на определенном оборудовании, повышая скорость и снижая потребление памяти. Каждый формат экспорта оптимизирован для разных устройств.

С одной стороны, формат ONNX может повысить производительность в различных средах. С другой стороны, OpenVINO повышает эффективность на оборудовании Intel, а такие форматы, как CoreML или TF SavedModel, идеально подходят для устройств Apple и мобильных приложений.

Давай посмотрим, как сравнивать Ultralytics YOLO11 в определенном формате. Приведенный ниже код выполняет бенчмаркинг YOLO11 в формате ONNX, который широко используется для запуска моделей AI на CPU и GPU.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Помимо результатов бенчмаркинга, выбор подходящего формата зависит от характеристик твоей системы и требований к развертыванию. Например, беспилотным автомобилям необходимо быстрое обнаружение объектов. Если ты планируешь использовать GPU NVIDIA для ускорения производительности, формат TensorRT будет оптимальным выбором для запуска Ultralytics YOLO11 на GPU NVIDIA.

Рис. 5. Использование YOLO11 для обнаружения объектов в беспилотных автомобилях.

Основные выводы#

Пакет Ultralytics для Python упрощает бенчмаркинг YOLO11, предоставляя простые команды для автоматического тестирования производительности. Всего за несколько шагов ты можешь увидеть, как разные конфигурации влияют на скорость и точность моделей, и принимать обоснованные решения без глубоких технических знаний.

Правильный выбор оборудования и настроек также может существенно повлиять на результат. Настройка таких параметров, как размер модели и датасет, позволяет оптимизировать Ultralytics YOLO11 для максимальной производительности — независимо от того, запускаешь ли ты ее на производительном GPU или локально на периферийном устройстве.

Присоединяйся к нашему сообществу и изучай передовые проекты AI в нашем репозитории GitHub. Узнай о влиянии AI на сельское хозяйство и роли компьютерного зрения в производстве на страницах наших решений. Изучи наши тарифы лицензирования и начни свой путь в AI уже сейчас!