Обучение моделей Ultralytics YOLO на собственных данных с помощью Lightning AI

Будь ты опытным разработчиком AI или только начинаешь изучать компьютерное зрение, надёжная среда для экспериментов с моделями компьютерного зрения, такими как Ultralytics YOLO11, имеет ключевое значение. Среда — это набор инструментов, ресурсов и инфраструктуры, необходимых для эффективного проектирования, тестирования и развёртывания моделей AI.

Хотя разные онлайн-платформы предлагают различные инструменты AI, многие из них не обеспечивают единую среду для всего жизненного цикла AI — от подготовки данных до развёртывания модели. Здесь на помощь приходит Lightning AI — универсальная платформа для разработки AI, упрощающая весь процесс от подготовки данных до развёртывания.

Важность упрощения разработки AI была продемонстрирована на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии, организованном Ultralytics и посвящённом достижениям в области AI и компьютерного зрения. Luca Antiga, технический директор Lightning AI, выступил с докладом под названием «Going YOLO on Lightning Studios», в котором рассказал, как быстро и без лишних технических сложностей обучать модели Ultralytics YOLO с помощью Lightning AI.

В этой статье мы разберём основные выводы из выступления Luca — от реальных применений компьютерного зрения до демонстраций в реальном времени, посвящённых обучению и развёртыванию моделей Ultralytics YOLO с помощью Lightning AI. Давай начнём!

Упрощение разработки AI с помощью Lightning AI и Ultralytics YOLO#

Luca начал свой доклад, поделившись мыслями и рассказав о влиянии моделей YOLO на различные отрасли. Он отметил, что модели YOLO можно применять в таких сферах, как производство и сельское хозяйство. Он сказал: «Я ценю влияние YOLO на сообщество создателей — людей, которым нужно решать реальные практические задачи, — это мне очень близко».

Связав эту тему с растущим интересом к обучению AI, он представил Lightning AI — платформу, созданную для того, чтобы сделать разработку моделей AI быстрее, проще и доступнее для всех. Она особенно полезна для итеративного совершенствования AI, помогая разработчикам дорабатывать и улучшать модели.

Рис. 1. Luca Antiga удалённо рассказывает о Lightning Studios на YV24.

Он также отметил, что Lightning AI похожа на PyTorch Lightning — фреймворк, упрощающий процесс обучения моделей AI. Однако Lightning AI отличается тем, что представляет собой более комплексную платформу с широким набором инструментов и возможностей для всего процесса разработки AI, а не только для обучения моделей AI.

Важным компонентом Lightning AI является Lightning Studios — интуитивно понятная рабочая среда для проектирования, обучения и развёртывания моделей AI, делающая весь рабочий процесс удобным и эффективным. Lightning Studios можно представить как воспроизводимую облачную среду разработки AI. Например, она предлагает среду, похожую на Jupyter Notebook, которую можно дублировать и предоставлять другому разработчику, улучшая совместную работу.

Затем Luca подробнее рассказал о преимуществах Lightning Studios: «Теперь воспроизведение твоей среды не представляет проблемы. Если тебе нужно перейти с машины с CPU [центральным процессором] на машину с GPU [графическим процессором] или запустить обучение на тысяче машин, твоя среда сохранится».

Настройка Lightning Studios для обучения и разработки#

Затем Luca продемонстрировал, как быстро можно начать работу с Lightning Studios. Всего за несколько кликов можно открыть новую студию и получить доступ к инструментам и средам, таким как Jupyter Notebooks и VS Code, уже настроенным и готовым к написанию кода. Он показал, насколько легко переключаться между разными машинами. Если текущая задача требует большей мощности, можно легко перейти с CPU на более мощный GPU. GPU остаётся активным только во время использования, а затем переходит в спящий режим, помогая экономить кредиты.

Luca также упомянул преимущества Studio Templates. Это готовые среды для разработки AI, созданные сообществом, которые можно использовать без дополнительной настройки. Подготовка среды для проектов AI может занимать много времени, а Studio Templates помогают повысить продуктивность. Эти среды уже содержат всё необходимое для проектов AI: установленные зависимости, веса моделей, данные, код и многое другое.

Рис. 2. Luca объясняет, что такое Studio Templates.

Обучение моделей Ultralytics YOLO в Lightning Studios#

Затем Luca перешёл к демонстрации в реальном времени и показал, как можно использовать Lightning Studio для обучения моделей Ultralytics YOLO. Он открыл Studio Template, где все зависимости уже были установлены, и запустил машину с четырьмя GPU, чтобы ускорить процесс обучения. Что касается данных, он отметил, что их можно хранить непосредственно на машине или передавать из облака, делая процесс обучения быстрее и эффективнее.

Через несколько секунд машина была готова, и Luca быстро запустил обучение. Во время демонстрации небольшая проблема неожиданно остановила машину, но Lightning Studios без проблем продолжила работу с того места, где она остановилась, гарантировав сохранение всего прогресса. Luca отметил, что такая надёжность обеспечивает стабильный рабочий процесс даже при неожиданных сбоях.

Продолжая демонстрацию, он показал, как легко отслеживать прогресс обучения с помощью TensorBoard — инструмента для визуализации метрик машинного обучения в реальном времени. Lightning Studio делает это ещё проще, автоматически создавая URL, по которым ты или коллеги в той же рабочей среде можете просматривать данные TensorBoard без дополнительной настройки. Это упрощает совместную работу и помогает всем оставаться в курсе происходящего.

Рис. 3. Блок-схема обучения моделей Ultralytics YOLO в Lightning Studios. Изображение предоставлено автором.

Развёртывание моделей Ultralytics YOLO с помощью LitServe#

После демонстрации Luca переключил внимание аудитории на новый проект LitServe, недавно запущенный Lightning AI. LitServe упрощает превращение обученной модели в масштабируемый сервис, которым могут пользоваться другие, устраняя необходимость в сложных конвейерах развёртывания. Он предназначен для выполнения всех задач — от упаковки модели до её развёртывания — с минимальными усилиями.

Чтобы продемонстрировать это в реальном времени, Luca провёл короткую демонстрацию с предварительно обученной моделью Ultralytics YOLOv8. Он создал простой API для обработки входящих запросов и возврата предсказаний для изображений за несколько секунд. Это означает, что любой пользователь может отправить изображение в этот API и почти мгновенно получить результаты для таких задач компьютерного зрения, как обнаружение объектов. В фоновом режиме модель Ultralytics YOLOv8 развёртывается как сервис, эффективно обрабатывает запросы и изображения и выдаёт предсказания с минимальной задержкой.

Рис. 4. Luca демонстрирует LitServe от Lightning AI на YV24.

Он выполнил инференс изображения с пиццей, и Ultralytics YOLOv8 успешно обнаружила такие объекты, как пицца, ложка и обеденный стол. Он объяснил, что первый запрос выполняется немного дольше из-за «холодного старта», а последующие запросы обрабатываются гораздо быстрее после прогрева системы.

Затем Luca спросил: «Что, если я хочу открыть к этому доступ из внешнего мира?» Он объяснил, как плагин API Builder упрощает превращение модели в работающий, готовый к эксплуатации сервис. Благодаря таким функциям, как пользовательские домены, дополнительная безопасность и бесшовная интеграция, ты можешь легко сделать модель доступной для всех.

Ключевые преимущества использования Lightning Studios#

В завершение выступления Luca рассказал о масштабируемости и гибкости Lightning Studio для разработки AI. Он отметил, что платформа может обучать модели на нескольких машинах, масштабируясь до 10 000 узлов, а отказоустойчивое обучение автоматически возобновляется после любых перебоев.

Например, если задача обучения в кластере GPU прерывается из-за аппаратной проблемы или перезагрузки сервера, Lightning Studios гарантирует возобновление процесса точно с того места, где он был остановлен. Это делает платформу идеальной для крупномасштабных проектов AI, например для обучения моделей глубокого обучения на огромных наборах данных, таких как ImageNet или COCO.

Вот ещё несколько ключевых преимуществ Lightning Studios, о которых рассказал Luca:

• Бесплатные ежемесячные кредиты GPU: Пользователям предоставляется 15 бесплатных кредитов GPU каждый месяц, и их баланс автоматически пополняется, поэтому ты можешь экспериментировать и разрабатывать решения без дополнительных затрат.
• Расширенные возможности совместной работы: Общие командные пространства и воспроизводимые среды Lightning Studio позволяют участникам команды эффективно работать вместе, обеспечивая согласованность и продуктивность во всех проектах.
• Гибкий выбор инстансов: Платформа позволяет выбирать между прерываемыми и непрерываемыми инстансами, помогая экономить на машинах с GPU благодаря использованию прерываемых вариантов.
• Интеграция с существующими инструментами: Платформа интегрируется с удалёнными инструментами разработки, такими как SSH (защищённая оболочка) и VS Code, обеспечивая гибкость работы локально или в облаке.

Основные выводы#

Основной доклад Luca на YV24 показал, как AI в сочетании с такими инструментами, как модели Ultralytics YOLO и Lightning AI, меняет подход к решению реальных задач. Они упрощают разработчикам обучение и развёртывание моделей, созданных для решения конкретных проблем в различных отраслях.

Он показал, как Lightning Studios ускоряет и упрощает весь процесс разработки, позволяя разработчикам легко создавать мощные решения. В основе передовых платформ, таких как Lightning AI, лежат модели компьютерного зрения, меняющие подход AI-решений к решению сложных задач. В частности, с помощью новейшей модели Ultralytics YOLO11 разработчики могут создавать решения, способные оказывать заметное влияние.

Присоединяйся к нашему сообществу, чтобы быть в курсе новостей об AI и его практическом применении. Посети наш репозиторий на GitHub, чтобы изучить инновации в таких сферах, как AI в беспилотных автомобилях и компьютерное зрение в здравоохранении.