Как проводить бенчмаркинг моделей Ultralytics YOLO, таких как YOLO11

Из-за растущего числа доступных сегодня моделей ИИ выбор наиболее подходящей для твоего конкретного приложения ИИ необходим для достижения точных и надежных результатов. Каждая модель различается по скорости, точности и общей производительности. Так как же определить, какая модель лучше всего подходит для конкретной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, решения в области безопасности и робототехника, где быстрое и надежное принятие решений имеет решающее значение.

Бенчмаркинг помогает ответить на этот вопрос, оценивая модель в различных условиях. Он дает представление о том, насколько хорошо модель работает при различных конфигурациях оборудования и настройках, что позволяет принимать более обоснованные решения.

Например, Ultralytics YOLO11 — это модель computer vision, которая поддерживает различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, ты можешь оценить ее производительность на разных конфигурациях, чтобы посмотреть, как она справляется с реальными сценариями.

В этой статье мы рассмотрим, как тестировать производительность Ultralytics YOLO models, таких как YOLO11, сравнивать их производительность на различных аппаратных платформах и узнавать, как различные форматы экспорта влияют на их скорость и эффективность. Давай начнем!

Что такое бенчмаркинг моделей?#

Когда дело доходит до использования модели ИИ компьютерного зрения в реальном приложении, как узнать, будет ли она достаточно быстрой, точной и надежной? Бенчмаркинг модели может дать ответы на эти вопросы. Бенчмаркинг моделей — это процесс тестирования и сравнения различных моделей ИИ, чтобы увидеть, какая из них работает лучше всего.

Это включает в себя установку базового уровня для сравнения, выбор правильных показателей производительности (таких как точность или скорость) и тестирование всех моделей в одинаковых условиях. Результаты помогают выявить сильные и слабые стороны каждой модели, что облегчает выбор той, которая лучше всего подходит для твоего конкретного AI solution. В частности, benchmark dataset часто используется для обеспечения справедливого сравнения и оценки того, насколько хорошо модель работает в различных реальных сценариях.

Рис 1. Зачем проводить бенчмаркинг моделей компьютерного зрения? Изображение автора.

Ярким примером того, почему бенчмаркинг жизненно важен, являются приложения реального времени, такие как видеонаблюдение или робототехника, где даже небольшие задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, может ли модель быстро обрабатывать изображения, при этом обеспечивая надежные прогнозы.

Он также играет ключевую роль в выявлении узких мест производительности. Если модель работает медленно или потребляет чрезмерные ресурсы, бенчмаркинг может показать, связана ли проблема с ограничениями оборудования, конфигурациями модели или форматами экспорта. Эти знания крайне важны для выбора наиболее эффективной настройки.

Сравнение бенчмаркинга моделей с оценкой и тестированием моделей#

Тестирование моделей, оценка и проверка — это популярные термины в сфере ИИ, которые часто используются вместе. Хотя они похожи, они не одинаковы и выполняют разные функции. Model testing проверяет, насколько хорошо работает одна модель, запуская ее на тестовом наборе данных и измеряя такие факторы, как точность и скорость. Между тем, оценка модели идет дальше, анализируя результаты, чтобы понять сильные и слабые стороны модели, а также то, насколько хорошо она работает в реальных ситуациях. Обе задачи сосредоточены только на одной модели за раз.

Бенчмаркинг моделей, однако, сравнивает несколько моделей бок о бок, используя одни и те же тесты и наборы данных. Он помогает выяснить, какая модель лучше всего работает для конкретной задачи, выделяя различия в точности, скорости и эффективности между ними. В то время как тестирование и оценка фокусируются на одной модели, бенчмаркинг помогает выбрать правильный (или лучший) вариант путем справедливого сравнения различных альтернатив.

Рис 2. Как бенчмаркинг моделей отличается от оценки и тестирования. Изображение автора.

Обзор Ultralytics YOLO11#

Ultralytics YOLO11 — это надежная модель ИИ для работы с изображениями, которая разработана для точного выполнения различных computer vision tasks. Она усовершенствована по сравнению с предыдущими версиями моделей YOLO и насыщена функциями, которые могут помочь решить реальные проблемы. Например, ее можно использовать для обнаружения объектов, классификации изображений, сегментации областей, отслеживания движений и многого другого. Ее также можно использовать в приложениях во многих отраслях, от безопасности до автоматизации и аналитики.

Рис. 3. Пример использования Ultralytics YOLO11 для сегментации людей на изображении.

Одним из ключевых преимуществ Ultralytics YOLO11 является простота ее использования. Всего с помощью нескольких строк кода любой может интегрировать ее в свои проекты ИИ, не разбираясь со сложными настройками или не обладая глубокими техническими знаниями.

Она также отлично работает на различном оборудовании, эффективно выполняясь на CPU (центральных процессорах), GPU (графических процессорах) и других специализированных ИИ-ускорителях. Независимо от того, развернута ли она на периферийных устройствах или облачных серверах, она обеспечивает высокую производительность.

Ultralytics YOLO11 доступен в различных размерах моделей, каждый из которых оптимизирован для определенных задач. Бенчмаркинг помогает определить, какая версия лучше всего подходит под твои конкретные нужды. Например, одно из ключевых пониманий, которое может дать бенчмаркинг, заключается в том, что более мелкие модели, такие как nano или small, работают быстрее, но могут жертвовать некоторой точностью.

Как проводить бенчмаркинг моделей YOLO, таких как Ultralytics YOLO11#

Теперь, когда мы поняли, что такое бенчмаркинг и какова его важность, давай разберем, как ты можешь тестировать модели YOLO, такие как Ultralytics YOLO11, и оценивать их эффективность для получения ценных выводов.

Для начала ты можешь установить Ultralytics Python package, выполнив следующую команду в своем терминале или командной строке: “pip install ultralytics”. Если у тебя возникнут какие-либо проблемы во время установки, загляни в наше Common Issues Guide за советами по устранению неполадок.

Как только пакет установлен, ты можешь легко провести бенчмаркинг Ultralytics YOLO11 с помощью всего нескольких строк кода на Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Когда ты запускаешь показанный выше код, он вычисляет, как быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно она обнаруживает объекты.

Упоминание «coco8.yaml» в коде относится к файлу конфигурации набора данных на основе набора данных COCO8 (Common Objects in Context) — небольшой образцовой версии полного набора данных COCO, часто используемой для тестирования и экспериментов.

Если ты тестируешь Ultralytics YOLO11 для конкретного приложения, такого как мониторинг дорожного движения или медицинская визуализация, использование релевантного датасета (например, датасета дорожного движения или медицинского датасета) даст более точные результаты. Бенчмаркинг на COCO дает общее представление о производительности, но для наилучших результатов ты можешь выбрать датасет, который отражает твой реальный сценарий использования.

Понимание результатов бенчмаркинга Ultralytics YOLO11#

Как только ты протестируешь производительность Ultralytics YOLO11, следующим шагом станет интерпретация результатов. После запуска бенчмарка ты увидишь в результатах различные числа. Эти метрики помогают оценить, насколько хорошо YOLO11 справляется с задачами с точки зрения точности и скорости.

Вот несколько важных метрик бенчмаркинг-тестирования Ultralytics YOLO11, на которые стоит обратить внимание:

• mAP50-95: Измеряет точность обнаружения объектов. Более высокое значение означает, что модель лучше распознает объекты.
• accuracy_top5: Обычно используется для задач классификации. Она показывает, как часто правильная метка появляется в топ-пяти предсказаний.
• Inference time: Время, затраченное на обработку одного изображения, измеряется в миллисекундах. Более низкие значения означают более быструю обработку.

Fig 4. График, показывающий производительность бенчмарка YOLO11.

Другие факторы, которые следует учитывать при проведении бенчмаркинга Ultralytics YOLO11#

Взгляд только на результаты бенчмаркинга дает лишь частичную картину. Чтобы лучше понять производительность, полезно сравнить различные настройки и аппаратные опции. Вот несколько важных вещей, на которые стоит обратить внимание:

• GPU vs. CPU: GPU могут обрабатывать изображения намного быстрее, чем CPU. Бенчмаркинг помогает увидеть, достаточно ли быстр CPU для твоих нужд или ты получишь преимущество при использовании GPU.
• Precision settings (FP32, FP16, INT8): Они управляют тем, как модель работает с числами. Более низкая точность (например, FP16 или INT8) заставляет модель работать быстрее и потреблять меньше памяти, но это может немного снизить точность.
• Export formats: Преобразование модели в такой формат, как TensorRT, может заставить ее работать намного быстрее на определенном оборудовании. Это полезно, если ты оптимизируешь скорость на конкретных устройствах.

Как проводить бенчмаркинг Ultralytics YOLO11 на разном «железе»#

Пакет Ultralytics Python позволяет преобразовывать модели YOLO11 в различные форматы, которые более эффективно работают на конкретном оборудовании, улучшая как скорость, так и использование памяти. Каждый формат экспорта оптимизирован для разных устройств.

С одной стороны, ONNX format может ускорить производительность в различных средах. С другой стороны, OpenVINO повышает эффективность на оборудовании Intel, а такие форматы, как CoreML или TF SavedModel, идеально подходят для устройств Apple и мобильных приложений.

Давай посмотрим, как можно запустить бенчмарк для Ultralytics YOLO11 в определенном формате. Код ниже тестирует YOLO11 в формате ONNX, который широко используется для запуска моделей ИИ как на CPU, так и на GPU.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Помимо результатов бенчмаркинга, выбор правильного формата зависит от характеристик твоей системы и требований к развертыванию. Например, беспилотным автомобилям требуется быстрое обнаружение объектов. Если ты планируешь использовать графические процессоры NVIDIA для ускорения производительности, формат TensorRT станет идеальным выбором для запуска Ultralytics YOLO11 на GPU от NVIDIA.

Fig 5. Использование YOLO11 для обнаружения объектов в самоуправляемых автомобилях.

Основные выводы#

Пакет Ultralytics Python упрощает бенчмаркинг YOLO11, предоставляя простые команды, которые могут выполнять тестирование производительности за тебя. С помощью всего нескольких шагов ты сможешь увидеть, как разные настройки влияют на скорость и точность моделей, что поможет тебе делать осознанный выбор без необходимости обладать глубокими техническими знаниями.

Правильное «железо» и настройки также могут сыграть огромную роль. Настройка таких параметров, как размер модели и датасет, позволяет точно настроить Ultralytics YOLO11 для достижения наилучшей производительности, независимо от того, запускаешь ли ты его на мощном GPU или локально на периферийном устройстве.

Свяжись с our community и изучай передовые проекты в области ИИ в our GitHub repository. Узнай о влиянии AI in agriculture и роли computer vision in manufacturing на страницах наших решений. Ознакомься с our licensing plans и начни свое путешествие в мире ИИ прямо сейчас!