Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Настройки cookie
Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Узнайте, как проводить бенчмаркинг Ultralytics YOLO11, сравнивать производительность на разных устройствах и изучать различные форматы экспорта для оптимизации скорости, точности и эффективности.
В связи с растущим числом доступных сегодня моделей ИИ выбор наиболее подходящей для вашего конкретного приложения ИИ имеет важное значение для достижения точных и надежных результатов. Каждая модель различается по скорости, точности и общей производительности. Итак, как мы можем определить, какая модель лучше всего подходит для данной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, решения для обеспечения безопасности и робототехника, где критически важно быстрое и надежное принятие решений.
Эталонное тестирование помогает ответить на этот вопрос, оценивая модель в различных условиях. Оно дает представление о том, насколько хорошо модель работает в различных аппаратных конфигурациях, что позволяет принимать более обоснованные решения.
Например, Ultralytics YOLO11 это модель компьютерного зрения, которая поддерживает различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, вы можете сравнить ее производительность на различных установках и посмотреть, как она справится с реальными сценариями.
В этой статье мы рассмотрим, как проводить бенчмаркинг моделейUltralytics YOLO , таких как YOLO11, сравним их производительность на различных аппаратных средствах и посмотрим, как различные форматы экспорта влияют на их скорость и эффективность. Давайте приступим!
Что такое бенчмаркинг моделей?
Когда речь идет об использовании модели Vision AI в реальном приложении, как узнать, будет ли она достаточно быстрой, точной и надежной? Оценка производительности модели может дать ответы на этот вопрос. Оценка производительности модели – это процесс тестирования и сравнения различных моделей ИИ, чтобы увидеть, какая из них работает лучше всего.
Он включает в себя установку базового уровня для сравнения, выбор правильных показателей производительности (таких как точность или скорость) и тестирование всех моделей в одинаковых условиях. Результаты помогают выявить сильные и слабые стороны каждой модели, что упрощает принятие решения о том, какая из них лучше всего подходит для вашего конкретного AI-решения. В частности, для обеспечения справедливого сравнения часто используется эталонный набор данных, позволяющий оценить, насколько хорошо модель работает в различных реальных сценариях.
Рис. 1. Зачем проводить бенчмаркинг моделей компьютерного зрения? Изображение автора.
Наглядным примером того, почему бенчмаркинг имеет жизненно важное значение, являются приложения реального времени, такие как видеонаблюдение или робототехника, где даже незначительные задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, может ли модель быстро обрабатывать изображения, обеспечивая при этом надежные прогнозы.
Он также играет ключевую роль в выявлении узких мест в производительности. Если модель работает медленно или использует чрезмерные ресурсы, бенчмаркинг может показать, связана ли проблема с аппаратными ограничениями, конфигурациями модели или форматами экспорта. Эти сведения имеют решающее значение для выбора наиболее эффективной настройки.
Бенчмаркинг модели по сравнению с оценкой и тестированием модели
Бенчмаркинг, оценка и тестирование моделей — популярные термины в области ИИ, которые используются вместе. Будучи похожими, они не являются идентичными и выполняют разные функции. Тестирование модели проверяет, насколько хорошо работает одна модель, запуская ее на тестовом наборе данных и измеряя такие факторы, как точность и скорость. Между тем, оценка модели идет на шаг дальше, анализируя результаты, чтобы понять сильные и слабые стороны модели, а также то, насколько хорошо она работает в реальных ситуациях. Оба подхода фокусируются только на одной модели за раз.
Бенчмаркинг моделей, однако, сравнивает несколько моделей бок о бок, используя одни и те же тесты и наборы данных. Он помогает выяснить, какая модель лучше всего подходит для конкретной задачи, выделяя различия в точности, скорости и эффективности между ними. В то время как тестирование и оценка фокусируются на одной модели, бенчмаркинг помогает выбрать правильную (или лучшую) модель, сравнивая различные варианты на справедливой основе.
Рис. 2. Чем отличается бенчмаркинг моделей от оценки и тестирования. Изображение автора.
Обзор Ultralytics YOLO11
Ultralytics YOLO11 - это надежная модель искусственного интеллекта, предназначенная для точного выполнения различных задач компьютерного зрения. Она улучшена по сравнению с предыдущими версиями модели YOLO и оснащена функциями, которые могут помочь в решении реальных задач. Например, она может использоваться для detect объектов, classify изображений, segment областей, track движений и т. д. Она также может применяться во многих отраслях, от безопасности до автоматизации и аналитики.
Рис. 3. Пример использования YOLO11 для segment людей на изображении.
Одним из ключевых преимуществ Ultralytics YOLO11 является простота его использования. Всего несколько строк кода позволяют любому человеку интегрировать ее в свои проекты по искусственному интеллекту, не прибегая к сложным настройкам и не имея глубоких технических знаний.
Он также бесперебойно работает на различном оборудовании, эффективно работая на ЦП (центральных процессорах), графических процессорах (графических процессорах) и других специализированных ускорителях искусственного интеллекта. Независимо от того, развернут ли он на периферийных устройствах или облачных серверах, он обеспечивает высокую производительность.
YOLO11 выпускается в виде моделей разных размеров, каждая из которых оптимизирована для выполнения различных задач. Бенчмаркинг помогает определить, какая версия лучше всего соответствует вашим конкретным потребностям. Например, бенчмарки могут показать, что модели меньшего размера, такие как nano или small, работают быстрее, но могут уступать в точности.
Как сравнивать модели YOLO , такие как YOLO11
Теперь, когда мы поняли, что такое бенчмаркинг и какова его важность. Давайте рассмотрим, как можно провести бенчмаркинг моделей YOLO , таких как YOLO11 , и оценить их эффективность, чтобы получить ценные сведения.
Чтобы начать работу, вы можете установить пакетUltralytics Python , выполнив следующую команду в терминале или командной строке: "pip install ultralytics". Если во время установки у вас возникнут какие-либо проблемы, ознакомьтесь с нашим руководством по общим проблемам, чтобы получить советы по устранению неполадок.
После установки пакета вы сможете легко провести бенчмарк YOLO11 с помощью всего нескольких строк кода на Python :
from ultralytics.utils.benchmarks import benchmark
# Benchmark on GPUbenchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)
Когда вы запускаете код, показанный выше, он вычисляет, насколько быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно она обнаруживает объекты.
Упоминание "coco8yaml" в коде относится к файлу конфигурации набора данных, основанному на COCO8 (Common Objects in Context) - небольшой, выборочной версии полного набора данных COCO , часто используемой для тестирования и экспериментов.
Если вы тестируете YOLO11 для конкретного приложения, такого как мониторинг дорожного движения или медицинская визуализация, использование соответствующего набора данных (например, набора данных дорожного движения или медицинского набора данных) позволит получить более точные сведения. Бенчмаркинг с помощью COCO дает общее представление о производительности, но для достижения наилучших результатов можно выбрать набор данных, отражающий реальный сценарий использования.
Понимание результатов бенчмаркинга YOLO11
После того как YOLO11 прошел бенчмарк, следующий шаг - интерпретация результатов. После запуска бенчмарка вы увидите различные цифры в результатах. Эти показатели помогают оценить, насколько хорошо YOLO11 работает с точки зрения точности и скорости.
Вот некоторые важные контрольные показатели YOLO11 , на которые следует обратить внимание:
mAP50: измеряет точность распознавания объектов. Более высокое значение означает, что модель лучше распознает объекты.
accuracy_top5: Обычно используется для задач классификации. Он показывает, как часто правильная метка появляется в первой пятерке прогнозов.
Время инференса: Время, затрачиваемое на обработку одного изображения, измеряемое в миллисекундах. Более низкие значения означают более быструю обработку.
Другие факторы, которые следует учитывать при сравнении YOLO11
Одни только результаты бенчмарков дают лишь часть картины. Чтобы лучше понять производительность, полезно сравнить различные настройки и варианты оборудования. Вот несколько важных моментов, на которые следует обратить внимание:
GPU против CPU: Графические процессоры могут обрабатывать изображения гораздо быстрее, чем CPU. Бенчмаркинг поможет вам понять, достаточно ли быстро работает CPU для ваших нужд или вы выиграете от использования GPU.
Настройки точности (Precision settings (FP32, FP16, INT8)): Они контролируют, как модель обрабатывает числа. Более низкая точность (например, FP16 или INT8) позволяет модели работать быстрее и использовать меньше памяти, но может незначительно снизить точность.
Форматы экспорта: Преобразование модели в формат, подобный TensorRT , может ускорить ее работу на определенном оборудовании. Это полезно, если вы оптимизируете скорость работы на определенных устройствах.
Как провести бенчмарк YOLO11 на разных аппаратных средствах
Пакет Ultralytics Python позволяет конвертировать модели YOLO11 в различные форматы, которые более эффективно работают на конкретном оборудовании, повышая скорость и увеличивая расход памяти. Каждый формат экспорта оптимизирован для различных устройств.
С одной стороны, форматONNX позволяет повысить производительность в различных средах. С другой стороны, OpenVINO повышает эффективность работы на оборудовании Intel , а такие форматы, как CoreML или TF SavedModel , идеально подходят для устройств Apple и мобильных приложений.
Давайте рассмотрим, как можно провести бенчмарк YOLO11 в определенном формате. Приведенный ниже код позволяет провести бенчмарк YOLO11 в формате ONNX , который широко используется для запуска моделей ИИ как на CPU, так и на GPU.
from ultralytics.utils.benchmarks import benchmark
# Benchmark a specific export format (e.g., ONNX) benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")
Выбор правильного формата зависит не только от результатов бенчмаркинга, но и от технических характеристик вашей системы и потребностей в развертывании. Например, самодвижущимся автомобилям требуется быстрое обнаружение объектов. Если вы планируете использовать графические процессоры NVIDIA для повышения производительности, формат TensorRT - идеальный выбор для запуска YOLO11 на NVIDIA GPU.
Рис. 5. Использование YOLO11 для обнаружения объектов в самоуправляемых автомобилях.
Основные выводы
Пакет Ultralytics Python упрощает бенчмаркинг YOLO11 , предоставляя простые команды, которые могут выполнить тестирование производительности за вас. Всего за несколько шагов вы сможете увидеть, как различные настройки влияют на скорость и точность моделей, что поможет вам сделать осознанный выбор, не нуждаясь в глубоких технических знаниях.
Правильно подобранное оборудование и настройки также могут иметь огромное значение. Настройка таких параметров, как размер модели и набор данных, позволяет точно настроить YOLO11 для достижения наилучшей производительности, независимо от того, запускаете ли вы его на высокопроизводительном GPU или локально на устройстве.