Как проводить бенчмаркинг моделей Ultralytics YOLO, таких как YOLO11

Абирами Вина

5 минут чтения

28 апреля 2025 г.

Узнайте, как провести бенчмаркинг Ultralytics YOLO11, сравнить производительность на разных устройствах и изучить различные форматы экспорта, чтобы оптимизировать скорость, точность и эффективность.

С учетом растущего числа доступных сегодня моделей искусственного интеллекта выбор наиболее подходящей для конкретного приложения ИИ очень важен для достижения точных и надежных результатов. Каждая модель отличается по скорости, точности и общей производительности. Как же определить, какая модель лучше всего подходит для конкретной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, системы безопасности и робототехника, где быстрое и надежное принятие решений имеет решающее значение.

Бенчмаркинг помогает ответить на этот вопрос, оценивая модель в различных условиях. Это дает представление о том, насколько хорошо модель работает в различных аппаратных установках и конфигурациях, позволяя принимать более обоснованные решения.

Например, Ultralytics YOLO11 - это модель компьютерного зрения, которая поддерживает различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, вы можете сравнить ее производительность на различных установках и посмотреть, как она справится с реальными сценариями.

В этой статье мы рассмотрим, как проводить бенчмаркинг моделей Ultralytics YOLO, таких как YOLO11, сравним их производительность на различных аппаратных средствах и посмотрим, как различные форматы экспорта влияют на их скорость и эффективность. Давайте приступим!

Что такое бенчмаркинг моделей?

Когда речь заходит об использовании модели искусственного интеллекта Vision в реальном приложении, как определить, будет ли она достаточно быстрой, точной и надежной? Бенчмаркинг модели может дать ответ на этот вопрос. Бенчмаркинг моделей - это процесс тестирования и сравнения различных моделей ИИ, чтобы определить, какая из них работает лучше. 

Он включает в себя определение базового уровня для сравнения, выбор правильных показателей производительности (например, точности или скорости) и тестирование всех моделей в одинаковых условиях. Результаты помогают выявить сильные и слабые стороны каждой модели, что облегчает принятие решения о том, какая из них лучше всего подходит для конкретного ИИ-решения. В частности, эталонный набор данных часто используется для справедливого сравнения и оценки того, насколько хорошо модель работает в различных реальных сценариях.

Рис. 1. Зачем нужен бенчмарк моделей компьютерного зрения? Изображение автора.

Ярким примером того, почему бенчмаркинг жизненно важен, являются приложения реального времени, такие как видеонаблюдение или робототехника, где даже незначительные задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, может ли модель быстро обрабатывать изображения и при этом выдавать надежные прогнозы. 

Он также играет ключевую роль в выявлении узких мест в производительности. Если модель работает медленно или использует чрезмерное количество ресурсов, бенчмаркинг поможет выяснить, связана ли проблема с аппаратными ограничениями, конфигурацией модели или форматом экспорта. Эти данные очень важны для выбора наиболее эффективной настройки.

Сравнительный анализ моделей по сравнению с оценкой и тестированием моделей

Бенчмаркинг, оценка и тестирование моделей - популярные термины ИИ, которые используются вместе. Хотя они похожи, это не одно и то же и имеют разные функции. Тестирование модели проверяет, насколько хорошо работает та или иная модель, запуская ее на тестовом наборе данных и измеряя такие факторы, как точность и скорость. В то время как оценка модели идет дальше, анализируя результаты, чтобы понять сильные и слабые стороны модели и то, насколько хорошо она работает в реальных ситуациях. В обоих случаях внимание уделяется только одной модели.

Однако бенчмаркинг моделей - это сравнение нескольких моделей между собой с использованием одних и тех же тестов и наборов данных. Это помогает выяснить, какая модель лучше всего подходит для конкретной задачи, выявляя различия в точности, скорости и эффективности между ними. В то время как тестирование и оценка сосредоточены на одной модели, бенчмаркинг помогает выбрать правильную (или лучшую) модель, справедливо сравнивая различные варианты.

Рис. 2. Чем бенчмаркинг моделей отличается от оценки и тестирования. Изображение автора.

Обзор Ultralytics YOLO11

Ultralytics YOLO11 - это надежная модель искусственного интеллекта, предназначенная для точного выполнения различных задач компьютерного зрения. Она улучшена по сравнению с предыдущими версиями модели YOLO и оснащена функциями, которые могут помочь в решении реальных задач. Например, она может использоваться для обнаружения объектов, классификации изображений, сегментирования областей, отслеживания движений и т. д. Она также может применяться во многих отраслях, от безопасности до автоматизации и аналитики.

Рис. 3. Пример использования YOLO11 для сегментации людей на изображении.

Одним из ключевых преимуществ Ultralytics YOLO11 является простота его использования. Всего несколько строк кода позволяют любому человеку интегрировать ее в свои проекты по искусственному интеллекту, не прибегая к сложным настройкам и не имея глубоких технических знаний. 

Кроме того, он отлично работает на различных аппаратных средствах, эффективно функционируя на CPU (центральных процессорах), GPU (графических процессорах) и других специализированных ускорителях ИИ. Независимо от того, где он развернут - на периферийных устройствах или облачных серверах, - он обеспечивает высокую производительность. 

YOLO11 выпускается в виде моделей разных размеров, каждая из которых оптимизирована для выполнения различных задач. Бенчмаркинг помогает определить, какая версия лучше всего соответствует вашим потребностям. Например, бенчмарки могут показать, что модели меньшего размера, такие как nano или small, работают быстрее, но могут уступать в точности.

Как сравнивать модели YOLO, такие как YOLO11

Теперь, когда мы поняли, что такое бенчмаркинг и какова его важность. Давайте рассмотрим, как можно провести бенчмаркинг моделей YOLO, таких как YOLO11, и оценить их эффективность, чтобы получить ценные сведения.

Чтобы начать работу, вы можете установить пакет Ultralytics Python, выполнив следующую команду в терминале или командной строке: "pip install ultralytics". Если во время установки у вас возникнут какие-либо проблемы, ознакомьтесь с нашим руководством по общим проблемам, чтобы получить советы по устранению неполадок.

После установки пакета вы сможете легко провести бенчмарк YOLO11 с помощью всего нескольких строк кода на Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Когда вы запускаете код, показанный выше, он вычисляет, насколько быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно она обнаруживает объекты. 

Упоминание "coco8.yaml" в коде относится к файлу конфигурации набора данных, основанному на наборе данных COCO8 (Common Objects in Context) - небольшой, выборочной версии полного набора данных COCO, часто используемой для тестирования и экспериментов.

Если вы тестируете YOLO11 для конкретного приложения, такого как мониторинг дорожного движения или медицинская визуализация, использование соответствующего набора данных (например, набора данных дорожного движения или медицинского набора данных) позволит получить более точные сведения. Бенчмаркинг с помощью COCO дает общее представление о производительности, но для достижения наилучших результатов можно выбрать набор данных, отражающий реальный сценарий использования.

Понимание результатов бенчмаркинга YOLO11

После того как YOLO11 прошел бенчмарк, следующий шаг - интерпретация результатов. После запуска бенчмарка вы увидите различные цифры в результатах. Эти показатели помогают оценить, насколько хорошо YOLO11 работает с точки зрения точности и скорости. 

Вот некоторые важные контрольные показатели YOLO11, на которые следует обратить внимание:

  • mAP50-95: измеряет точность распознавания объектов. Более высокое значение означает, что модель лучше распознает объекты.
  • accuracy_top5: Обычно используется для задач классификации. Он показывает, как часто правильная метка появляется в пяти лучших предсказаниях.
  • Время вывода: Время, затрачиваемое на обработку одного изображения, измеряется в миллисекундах. Меньшие значения означают более быструю обработку.
Рис. 4. График, показывающий производительность YOLO11 в бенчмарке.

Другие факторы, которые следует учитывать при сравнении YOLO11 

Одни лишь результаты бенчмарков говорят лишь о части дела. Чтобы лучше понять производительность, полезно сравнить различные настройки и аппаратные опции. Вот несколько важных моментов, на которые следует обратить внимание:

  • GPU против CPU: Графические процессоры могут обрабатывать изображения гораздо быстрее, чем CPU. Бенчмаркинг поможет вам понять, достаточно ли быстро работает CPU для ваших нужд или вы выиграете от использования GPU.
  • Настройки точности (FP32, FP16, INT8): Они определяют, как модель обрабатывает числа. Более низкая точность (например, FP16 или INT8) позволяет модели работать быстрее и использовать меньше памяти, но при этом может несколько снизиться точность.
  • Форматы экспорта: Преобразование модели в формат, подобный TensorRT, может ускорить ее работу на определенном оборудовании. Это полезно, если вы оптимизируете скорость работы на определенных устройствах.

Как провести бенчмарк YOLO11 на разных аппаратных средствах

Пакет Ultralytics Python позволяет конвертировать модели YOLO11 в различные форматы, которые более эффективно работают на конкретном оборудовании, повышая скорость и увеличивая расход памяти. Каждый формат экспорта оптимизирован для различных устройств. 

С одной стороны, формат ONNX позволяет повысить производительность в различных средах. С другой стороны, OpenVINO повышает эффективность работы на оборудовании Intel, а такие форматы, как CoreML или TF SavedModel, идеально подходят для устройств Apple и мобильных приложений. 

Давайте рассмотрим, как можно провести бенчмарк YOLO11 в определенном формате. Приведенный ниже код позволяет провести бенчмарк YOLO11 в формате ONNX, который широко используется для запуска моделей искусственного интеллекта как на CPU, так и на GPU.

from ultralytics.utils.benchmarks import benchmark  

# Benchmark a specific export format (e.g., ONNX)  
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Выбор правильного формата зависит не только от результатов бенчмаркинга, но и от технических характеристик вашей системы и потребностей в развертывании. Например, самодвижущимся автомобилям необходимо быстрое обнаружение объектов. Если вы планируете использовать графические процессоры NVIDIA для повышения производительности, формат TensorRT - идеальный выбор для запуска YOLO11 на NVIDIA GPU.

Рис. 5. Использование YOLO11 для обнаружения объектов в самоуправляемых автомобилях.

Основные выводы

Пакет Ultralytics Python упрощает бенчмаркинг YOLO11, предоставляя простые команды, которые могут выполнить тестирование производительности за вас. Всего за несколько шагов вы сможете увидеть, как различные настройки влияют на скорость и точность моделей, что поможет вам сделать осознанный выбор, не нуждаясь в глубоких технических знаниях.

Правильно подобранное оборудование и настройки также могут иметь огромное значение. Настройка таких параметров, как размер модели и набор данных, позволяет точно настроить YOLO11 для достижения наилучшей производительности, независимо от того, запускаете ли вы его на высокопроизводительном GPU или локально на устройстве.

Общайтесь с нашим сообществом и изучайте передовые проекты в области ИИ в нашем репозитории GitHub. Узнайте о влиянии ИИ на сельское хозяйство и роли компьютерного зрения в производстве на страницах наших решений. Ознакомьтесь с нашими лицензионными планами и начните свой путь к ИИ прямо сейчас!

Давайте вместе построим будущее
искусственного интеллекта!

Начните свое путешествие в будущее машинного обучения

Начните бесплатно
Ссылка копируется в буфер обмена