Как проводить бенчмаркинг моделей Ultralytics YOLO, таких как YOLO11

Из-за растущего числа доступных сегодня моделей ИИ выбор наиболее подходящей для твоего конкретного приложения ИИ необходим для достижения точных и надежных результатов. Каждая модель различается по скорости, точности и общей производительности. Так как же определить, какая модель лучше всего подходит для конкретной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, решения в области безопасности и робототехника, где быстрое и надежное принятие решений имеет решающее значение.

Бенчмаркинг помогает ответить на этот вопрос, оценивая модель в различных условиях. Он дает представление о том, насколько хорошо модель работает при различных конфигурациях оборудования и настройках, что позволяет принимать более обоснованные решения.

Например, Ultralytics YOLO11 — это модель computer vision, поддерживающая различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, ты можешь провести бенчмаркинг ее производительности на разных конфигурациях, чтобы увидеть, как она справится с реальными сценариями.

В этой статье мы рассмотрим, как проводить бенчмаркинг Ultralytics YOLO models, таких как YOLO11, сравнивать их производительность на различном оборудовании и наблюдать, как различные форматы экспорта влияют на их скорость и эффективность. Давай начнем!

Link to this sectionЧто такое бенчмаркинг моделей?#

Когда дело доходит до использования модели ИИ компьютерного зрения в реальном приложении, как узнать, будет ли она достаточно быстрой, точной и надежной? Бенчмаркинг модели может дать ответы на эти вопросы. Бенчмаркинг моделей — это процесс тестирования и сравнения различных моделей ИИ, чтобы увидеть, какая из них работает лучше всего.

Он включает в себя установку базового уровня для сравнения, выбор правильных показателей производительности (таких как точность или скорость) и тестирование всех моделей в одинаковых условиях. Результаты помогают выявить сильные и слабые стороны каждой модели, облегчая выбор той, которая лучше всего подходит для твоего конкретного AI solution. В частности, benchmark dataset часто используется для обеспечения честных сравнений и оценки того, насколько хорошо модель работает в различных реальных сценариях.

Рис 1. Зачем проводить бенчмаркинг моделей компьютерного зрения? Изображение автора.

Ярким примером того, почему бенчмаркинг жизненно важен, являются приложения реального времени, такие как видеонаблюдение или робототехника, где даже небольшие задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, может ли модель быстро обрабатывать изображения, при этом обеспечивая надежные прогнозы.

Он также играет ключевую роль в выявлении узких мест производительности. Если модель работает медленно или потребляет чрезмерные ресурсы, бенчмаркинг может показать, связана ли проблема с ограничениями оборудования, конфигурациями модели или форматами экспорта. Эти знания крайне важны для выбора наиболее эффективной настройки.

Link to this sectionСравнение бенчмаркинга моделей с оценкой и тестированием моделей#

Бенчмаркинг, оценка и тестирование моделей — это популярные термины ИИ, которые часто используются вместе. Хотя они похожи, это не одно и то же, и у них разные функции. Model testing проверяет, насколько хорошо работает одна модель, запуская ее на тестовом наборе данных и измеряя такие факторы, как точность и скорость. Тем временем, оценка модели идет дальше, анализируя результаты, чтобы понять сильные и слабые стороны модели и то, насколько хорошо она работает в реальных ситуациях. Оба процесса фокусируются только на одной модели за раз.

Бенчмаркинг моделей, однако, сравнивает несколько моделей бок о бок, используя одни и те же тесты и наборы данных. Он помогает выяснить, какая модель лучше всего работает для конкретной задачи, выделяя различия в точности, скорости и эффективности между ними. В то время как тестирование и оценка фокусируются на одной модели, бенчмаркинг помогает выбрать правильный (или лучший) вариант путем справедливого сравнения различных альтернатив.

Рис 2. Как бенчмаркинг моделей отличается от оценки и тестирования. Изображение автора.

Link to this sectionОбзор Ultralytics YOLO11#

Ultralytics YOLO11 — это надежная модель ИИ компьютерного зрения, разработанная для точного выполнения различных computer vision tasks. Она улучшает более ранние версии моделей YOLO и наполнена функциями, которые могут помочь в решении реальных задач. Например, ее можно использовать для обнаружения объектов, классификации изображений, сегментации областей, отслеживания движений и многого другого. Она также может применяться в приложениях во многих отраслях, от безопасности до автоматизации и аналитики.

Рис 3. Пример использования YOLO11 для сегментации людей на изображении.

Одним из ключевых преимуществ Ultralytics YOLO11 является простота ее использования. Всего с помощью нескольких строк кода любой может интегрировать ее в свои проекты ИИ, не разбираясь со сложными настройками или не обладая глубокими техническими знаниями.

Она также отлично работает на различном оборудовании, эффективно выполняясь на CPU (центральных процессорах), GPU (графических процессорах) и других специализированных ИИ-ускорителях. Независимо от того, развернута ли она на периферийных устройствах или облачных серверах, она обеспечивает высокую производительность.

YOLO11 доступна в различных размерах моделей, каждая из которых оптимизирована для разных задач. Бенчмаркинг помогает определить, какая версия лучше всего соответствует твоим конкретным потребностям. Например, одним из ключевых выводов бенчмаркинга может стать то, что модели меньшего размера, такие как nano или small, обычно работают быстрее, но могут немного жертвовать точностью.

Link to this sectionКак проводить бенчмаркинг моделей YOLO, например, YOLO11#

Теперь, когда мы поняли, что такое бенчмаркинг и его важность, давай разберем, как ты можешь проводить бенчмаркинг моделей YOLO, например YOLO11, и оценивать их эффективность, чтобы получить ценные данные.

Для начала ты можешь установить Ultralytics Python package, выполнив следующую команду в своем терминале или командной строке: “pip install ultralytics”. Если ты столкнешься с какими-либо проблемами во время установки, ознакомься с нашим Common Issues Guide для получения советов по устранению неполадок.

Как только пакет установлен, ты можешь легко benchmark YOLO11 с помощью всего нескольких строк кода на Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Когда ты запускаешь показанный выше код, он вычисляет, как быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно она обнаруживает объекты.

Упоминание “coco8.yaml” в коде относится к файлу конфигурации набора данных, основанному на наборе COCO8 (Common Objects in Context) — небольшой выборочной версии полного набора данных COCO, которая часто используется для тестирования и экспериментов.

Если ты тестируешь YOLO11 для конкретного приложения, такого как мониторинг дорожного движения или медицинская визуализация, использование соответствующего набора данных (например, набора данных по трафику или медицинского набора данных) даст более точные результаты. Бенчмаркинг с использованием COCO дает общее представление о производительности, но для наилучших результатов ты можешь выбрать набор данных, который отражает твой реальный сценарий использования.

Link to this sectionПонимание результатов бенчмаркинга YOLO11#

После того как YOLO11 прошел бенчмаркинг, следующим шагом будет интерпретация результатов. После выполнения бенчмарка ты увидишь различные цифры. Эти показатели помогают оценить, насколько хорошо YOLO11 работает с точки зрения точности и скорости.

Вот некоторые важные метрики бенчмаркинга YOLO11, на которые стоит обратить внимание:

• mAP50-95: Измеряет точность обнаружения объектов. Более высокое значение означает, что модель лучше распознает объекты.
• accuracy_top5: Обычно используется для задач классификации. Она показывает, как часто правильная метка появляется в топ-пяти предсказаний.
• Inference time: Время, затраченное на обработку одного изображения, измеряется в миллисекундах. Более низкие значения означают более быструю обработку.

Fig 4. График, показывающий производительность бенчмарка YOLO11.

Link to this sectionДругие факторы, которые следует учитывать при бенчмаркинге YOLO11#

Взгляд только на результаты бенчмаркинга дает лишь частичную картину. Чтобы лучше понять производительность, полезно сравнить различные настройки и аппаратные опции. Вот несколько важных вещей, на которые стоит обратить внимание:

• GPU vs. CPU: GPU могут обрабатывать изображения намного быстрее, чем CPU. Бенчмаркинг помогает увидеть, достаточно ли быстр CPU для твоих нужд или ты получишь преимущество при использовании GPU.
• Precision settings (FP32, FP16, INT8): Они управляют тем, как модель работает с числами. Более низкая точность (например, FP16 или INT8) заставляет модель работать быстрее и потреблять меньше памяти, но это может немного снизить точность.
• Export formats: Преобразование модели в формат, например TensorRT, может значительно ускорить ее работу на определенном оборудовании. Это полезно, если ты оптимизируешь скорость для конкретных устройств.

Link to this sectionКак проводить бенчмаркинг YOLO11 на разном оборудовании#

Пакет Ultralytics Python позволяет преобразовывать модели YOLO11 в различные форматы, которые более эффективно работают на конкретном оборудовании, улучшая как скорость, так и использование памяти. Каждый формат экспорта оптимизирован для разных устройств.

С одной стороны, ONNX format может ускорить производительность в различных средах. С другой стороны, OpenVINO повышает эффективность на оборудовании Intel, а такие форматы, как CoreML или TF SavedModel, идеально подходят для устройств Apple и мобильных приложений.

Давай посмотрим, как ты можешь провести бенчмаркинг YOLO11 в определенном формате. Код ниже проводит бенчмаркинг YOLO11 в формате ONNX, который широко используется для запуска моделей ИИ как на CPU, так и на GPU.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Помимо результатов бенчмаркинга, выбор правильного формата зависит от спецификаций твоей системы и потребностей развертывания. Например, self-driving cars нуждаются в быстром обнаружении объектов. Если ты планируешь использовать NVIDIA GPU для ускорения производительности, формат TensorRT станет идеальным выбором для запуска YOLO11 на NVIDIA GPU.

Fig 5. Использование YOLO11 для обнаружения объектов в беспилотных автомобилях.

Link to this sectionОсновные выводы#

Пакет Ultralytics Python упрощает бенчмаркинг YOLO11, предоставляя простые команды, которые могут выполнять тестирование производительности за тебя. С помощью всего нескольких шагов ты сможешь увидеть, как разные настройки влияют на скорость и точность моделей, что поможет тебе делать осознанный выбор без необходимости обладать глубокими техническими знаниями.

Правильное оборудование и настройки также могут иметь огромное значение. Корректировка параметров, таких как размер модели и набор данных, позволяет тебе настроить YOLO11 для максимальной производительности, независимо от того, запускаешь ли ты ее на мощном GPU или локально на периферийном устройстве.

Присоединяйся к our community и исследуй передовые ИИ-проекты в our GitHub repository. Узнай о влиянии AI in agriculture и роли computer vision in manufacturing на страницах наших решений. Ознакомься с our licensing plans и начни свой путь в ИИ прямо сейчас!