Дообучение Ultralytics YOLO11 на наборах данных для компьютерного зрения

Обучение модели компьютерного зрения, такой как Ultralytics YOLO11, обычно включает сбор изображений для набора данных, их аннотирование, подготовку данных и дообучение модели в соответствии с твоими требованиями. Хотя пакет Ultralytics для Python делает эти шаги простыми и удобными, разработка решений на основе компьютерного зрения всё ещё может занимать много времени.

Особенно это актуально, когда сроки сильно ограничены или ты разрабатываешь прототип. В таких ситуациях инструменты или интеграции, которые упрощают отдельные этапы процесса — например, ускоряют подготовку набора данных или автоматизируют повторяющиеся задачи, — могут существенно помочь. Сокращая необходимые время и усилия, такие решения позволяют сосредоточиться на создании и улучшении модели. Именно это и предлагает интеграция с Roboflow.

Интеграция с Roboflow позволяет легко получать доступ к наборам данных из Roboflow Universe — обширной библиотеки открытых наборов данных для компьютерного зрения. Вместо того чтобы тратить часы на сбор и организацию данных, ты можешь быстро находить и использовать готовые наборы данных, чтобы сразу приступить к обучению Ultralytics YOLO11. Благодаря этой интеграции экспериментировать и итеративно развивать модель компьютерного зрения становится гораздо быстрее и проще.

В этой статье мы подробно рассмотрим, как использовать интеграцию с Roboflow для ускорения разработки моделей. Давай начнём!

Что такое Roboflow Universe?#

Roboflow Universe — это платформа, которую поддерживает компания Roboflow, специализирующаяся на упрощении разработки решений для компьютерного зрения. Она включает более 350 миллионов изображений, 500 000 наборов данных и 100 000 дообученных моделей для таких задач, как обнаружение объектов, классификация изображений и сегментация. Благодаря вкладу разработчиков и исследователей со всего мира Roboflow Universe представляет собой совместную платформу для всех, кто хочет быстро начать или улучшить свои проекты в области компьютерного зрения.

Рис. 1. Примеры наборов данных для обнаружения объектов в Roboflow Universe.

Roboflow Universe предлагает следующие ключевые возможности:

• Инструменты исследования наборов данных: изучай, фильтруй и визуализируй наборы данных, чтобы быстро находить ресурсы, соответствующие требованиям твоего проекта.
• Варианты экспорта: экспортируй данные в таких форматах, как COCO, YOLO, TFRecord, CSV и других, в соответствии с особенностями твоего рабочего процесса.
• Аналитика наборов данных: получай сведения о различных наборах данных с помощью инструментов аналитики, которые визуализируют распределение меток, дисбаланс классов и качество набора данных.
• Отслеживание версий: просматривай и открывай разные версии наборов данных, загруженные участниками, чтобы отслеживать обновления, сравнивать изменения и выбирать версию, которая лучше всего соответствует требованиям твоего проекта.

Интеграция с Roboflow помогает находить подходящие данные#

Поиск подходящего набора данных часто оказывается одной из самых сложных задач при создании модели компьютерного зрения. Создание набора данных обычно включает сбор большого количества изображений, проверку их соответствия твоей задаче и точную разметку.

Этот процесс может потребовать много времени и ресурсов, особенно если ты за короткий срок экспериментируешь с разными подходами. Даже поиск готовых наборов данных может быть непростой задачей: они часто распределены по разным платформам, плохо документированы или не содержат нужных тебе аннотаций.

Например, если ты создаёшь приложение компьютерного зрения для обнаружения сорняков на сельскохозяйственных полях, тебе может понадобиться протестировать разные подходы vision AI, например обнаружение объектов и сегментацию экземпляров. Это позволяет поэкспериментировать и определить, какой метод работает лучше всего, прежде чем тратить время и усилия на сбор и разметку собственного набора данных.

Рис. 2. Обнаружение деталей автомобилей с помощью Ultralytics YOLO11.

С помощью интеграции с Roboflow ты можешь просматривать множество наборов данных, связанных с сельским хозяйством, включая наборы для обнаружения сорняков, оценки состояния сельскохозяйственных культур и мониторинга полей. Эти готовые к использованию наборы данных позволяют пробовать разные методы и улучшать модель без предварительных затрат на создание собственных данных.

Как работает интеграция с Roboflow#

Теперь, когда мы обсудили, как использовать интеграцию с Roboflow для поиска подходящих наборов данных, давай рассмотрим, как она вписывается в твой рабочий процесс. Выбрав набор данных в Roboflow Universe, ты можешь экспортировать или скачать его в формате YOLO11. После экспорта набора данных ты можешь использовать его для пользовательского обучения YOLO11 с помощью пакета Ultralytics для Python.

При скачивании набора данных ты можешь заметить, что Roboflow Universe также поддерживает другие форматы для обучения разных моделей. Так почему стоит выбрать пользовательское обучение Ultralytics YOLO11?

YOLO11 — последняя версия моделей Ultralytics YOLO, созданная для более быстрого и точного обнаружения объектов. Она использует на 22% меньше параметров (внутренних значений, которые модель настраивает во время обучения для формирования предсказаний), чем YOLOv8m, но при этом достигает более высокой средней точности (mAP) на наборе данных COCO. Такое сочетание скорости и точности делает YOLO11 универсальным выбором для широкого спектра приложений компьютерного зрения, особенно при пользовательском обучении моделей для конкретных задач.

Рассмотрим подробнее, как работает пользовательское обучение Ultralytics YOLO11:

• Подача данных: модель Ultralytics YOLO11 обрабатывает твой набор данных и учится обнаруживать и классифицировать объекты на изображениях и в их аннотациях.
• Предсказания и обратная связь: модель делает предсказания об объектах на изображениях и сравнивает их с правильными ответами, представленными в наборе данных.
• Отслеживание производительности: для оценки прогресса отслеживаются такие метрики, как точность (правильные обнаружения), полнота (пропущенные обнаружения) и функция потерь (ошибки предсказаний).
• Итеративное обучение: модель корректирует свои параметры в течение нескольких циклов (эпох), чтобы повысить точность обнаружения и минимизировать ошибки.
• Итоговый результат модели: после обучения оптимизированная модель сохраняется и готова к развёртыванию.

Другие интеграции для разработки решений компьютерного зрения#

Изучая интеграцию с Roboflow, ты заметишь, что в документации Ultralytics упоминаются и другие интеграции. Мы поддерживаем множество интеграций, связанных с различными этапами разработки решений компьютерного зрения.

Это позволяет предложить нашему сообществу широкий выбор вариантов, чтобы ты мог выбрать решение, которое лучше всего подходит для твоего рабочего процесса.

Рис. 3. Обзор интеграций, поддерживаемых Ultralytics.

Помимо наборов данных, другие интеграции, поддерживаемые Ultralytics, охватывают различные части процесса компьютерного зрения, включая обучение, развёртывание и оптимизацию. Вот несколько примеров поддерживаемых нами интеграций:

• Интеграции для обучения: такие интеграции, как Amazon SageMaker и Paperspace Gradient, упрощают рабочие процессы обучения, предоставляя облачные платформы для эффективной разработки и тестирования моделей.
• Интеграции для управления рабочими процессами и отслеживания экспериментов: ClearML, MLflow и Weights & Biases (W&B) помогают автоматизировать рабочие процессы, отслеживать эксперименты и улучшать совместную работу, упрощая управление проектами машинного обучения.
• Интеграции для оптимизации и развёртывания: CoreML, ONNX и OpenVINO обеспечивают оптимизированное развёртывание на различных устройствах и в разных фреймворках, гарантируя эффективную работу на таких платформах, как оборудование Apple и CPU Intel.
• Интеграции для мониторинга и визуализации: TensorBoard и Weights & Biases предоставляют инструменты для визуализации прогресса обучения и мониторинга производительности, помогая получать подробные сведения для улучшения моделей.

Применение Ultralytics YOLO11 и роль интеграций#

Интеграции, поддерживающие разработку решений компьютерного зрения, в сочетании с надёжными возможностями Ultralytics YOLO11 упрощают решение реальных задач. Рассмотрим, например, компьютерное зрение в производстве, где vision AI используется для обнаружения дефектов на производственной линии — например, царапин на металлических деталях или отсутствующих компонентов. Сбор подходящих данных для таких задач часто бывает медленным и сложным, поскольку требует доступа к специализированным условиям.

Обычно это включает установку камер или датчиков вдоль производственных линий для съёмки изображений продукции. Такие изображения нужно получать в больших объёмах, часто при стабильном освещении и под одинаковыми углами, чтобы обеспечить чёткость и однородность.

После съёмки изображения необходимо тщательно аннотировать, добавляя точные метки для каждого типа дефектов, например царапин, вмятин или отсутствующих компонентов. Этот процесс требует значительных времени, ресурсов и опыта, чтобы набор данных точно отражал разнообразие реального мира. При создании надёжного набора данных необходимо учитывать такие факторы, как разные размеры, формы и материалы дефектов.

Интеграции, предоставляющие готовые наборы данных, упрощают такие задачи, как промышленный контроль качества, а благодаря возможностям Ultralytics YOLO11 по обнаружению объектов в реальном времени производители могут отслеживать производственные линии, мгновенно выявлять дефекты и повышать эффективность.

Рис. 4. Пример использования Ultralytics YOLO11 для обнаружения и подсчёта производимых банок.

Помимо производства, интеграции, связанные с наборами данных, можно использовать во многих других отраслях. Сочетая скорость и точность Ultralytics YOLO11 с легкодоступными наборами данных, компании могут быстро разрабатывать и развёртывать решения, адаптированные к их конкретным потребностям. Например, в здравоохранении интеграции наборов данных помогают создавать решения для анализа медицинских изображений и обнаружения таких аномалий, как опухоли. Аналогичным образом, в автономном вождении такие интеграции помогают распознавать автомобили, пешеходов и дорожные знаки для повышения безопасности.

Основные выводы#

Поиск подходящего набора данных часто оказывается одним из самых трудоёмких этапов создания модели компьютерного зрения. Однако интеграция с Roboflow упрощает поиск оптимального набора данных для пользовательского обучения моделей Ultralytics YOLO, даже если ты только начинаешь работать с компьютерным зрением.

Получая доступ к обширной коллекции наборов данных для таких задач компьютерного зрения, как обнаружение объектов, классификация изображений и сегментация экземпляров, Roboflow Universe избавляет от сложностей поиска данных. Она помогает быстро начать работу и сосредоточиться на создании модели, а не тратить время на сбор и организацию данных. Такой упрощённый подход позволяет разработчикам эффективнее создавать прототипы, выполнять итерации и разрабатывать решения компьютерного зрения.

Чтобы узнать больше, посети наш репозиторий на GitHub и присоединись к нашему сообществу. Изучи инновации в таких областях, как AI в беспилотных автомобилях и компьютерное зрение в сельском хозяйстве, на страницах наших решений. 🚀