Дообучение моделей Ultralytics YOLO на Lightning AI

Если ты опытный разработчик ИИ или только начинаешь знакомиться с ИИ для компьютерного зрения, тебе необходима надёжная среда для работы и экспериментов с моделями компьютерного зрения, такими как Ultralytics YOLO11. Среда включает инструменты, ресурсы и инфраструктуру, необходимые для эффективного проектирования, тестирования и развёртывания моделей ИИ.

Хотя на разных онлайн-платформах доступны различные инструменты ИИ, многие из них не предоставляют единую среду для всего жизненного цикла ИИ — от подготовки данных до развёртывания модели. Здесь на помощь приходит Lightning AI — универсальная платформа для разработки ИИ, которая упрощает весь процесс от подготовки данных до развёртывания.

Важность упрощения разработки ИИ продемонстрировали на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии Ultralytics, посвящённом достижениям в области ИИ и компьютерного зрения. Лука Антига, технический директор Lightning AI, выступил с докладом «Работаем с YOLO в Lightning Studios», где рассказал, как быстро и удобно обучать модели Ultralytics YOLO с помощью Lightning AI, не погружаясь в технические сложности.

В этой статье мы рассмотрим основные выводы из выступления Луки: от реальных применений компьютерного зрения до живых демонстраций обучения и развертывания моделей Ultralytics YOLO с помощью Lightning AI.

Упрощение разработки ИИ с помощью Lightning AI и Ultralytics YOLO#

В начале доклада Лука поделился своими мыслями о влиянии моделей YOLO на разные отрасли и выразил признательность за это. Он отметил, что модели YOLO можно применять в таких областях, как производство и сельское хозяйство. Он сказал: «Я ценю влияние YOLO на сообщество создателей — людей, которым нужно решать реальные практические задачи. Это очень близко мне».

Говоря о растущем интересе к обучению ИИ, он представил Lightning AI — платформу, призванную сделать разработку моделей ИИ быстрее, проще и доступнее для всех. Она особенно полезна для поддержки итеративного совершенствования ИИ и помогает разработчикам дорабатывать модели.

Рис. 1. Лука Антига удалённо рассказывает о Lightning Studios на YV24.

Он также отметил сходство Lightning AI с PyTorch Lightning — фреймворком, который упрощает процесс обучения моделей ИИ. Однако Lightning AI отличается тем, что это более комплексная платформа с широким набором инструментов и возможностей для всего процесса разработки ИИ, а не только для обучения моделей.

Ключевая часть Lightning AI — Lightning Studios, интуитивно понятная среда для проектирования, обучения и развертывания моделей ИИ, которая делает весь рабочий процесс более простым и эффективным. Lightning Studios можно представить как воспроизводимую облачную среду разработки ИИ. Например, в ней доступна среда, похожая на Jupyter Notebook, которую можно дублировать и передавать другому разработчику, упрощая совместную работу.

Затем Лука рассказал о преимуществах Lightning Studios: «Теперь воспроизвести среду не проблема. Если нужно перейти с машины с CPU [центральный процессор] на машину с GPU [графический процессор] или запустить обучение на тысяче машин, твоя среда останется неизменной».

Настройка Lightning Studios для обучения и разработки#

Затем Лука продемонстрировал, как быстро можно начать работу с Lightning Studios. Всего за несколько щелчков можно открыть новую студию и получить доступ к инструментам и средам, таким как Jupyter Notebooks и VS Code, уже настроенным и готовым к работе с кодом. Он показал, как легко переключаться между разными машинами. Если для задачи требуется больше мощности, можно быстро перейти с CPU на более мощный GPU. GPU остаётся активным только во время работы, а в остальное время переходит в спящий режим, экономя кредиты.

Лука также упомянул преимущества шаблонов студий. Это готовые среды программирования для ИИ, созданные сообществом, которые можно использовать без предварительной настройки. Подготовка среды для проектов ИИ может занять много времени, а шаблоны студий помогают повысить продуктивность. В этих средах уже есть всё необходимое для проектов ИИ: установленные зависимости, веса моделей, данные, код и многое другое.

Рис. 2. Лука объясняет, что такое шаблоны студий.

Обучение моделей Ultralytics YOLO в Lightning Studios#

Затем Лука перешёл к живой демонстрации и показал, как с помощью Lightning Studio обучать модели Ultralytics YOLO. Он открыл шаблон студии, в котором уже были установлены все зависимости, и запустил машину с четырьмя GPU, чтобы ускорить обучение. Что касается данных, их можно хранить непосредственно на машине или передавать из облака, ускоряя и повышая эффективность обучения.

Через несколько секунд машина была готова, и Лука сразу запустил обучение. Во время демонстрации небольшая проблема неожиданно остановила машину, но Lightning Studios возобновила работу с того места, где она прервалась, не допустив потери результатов. Лука отметил, что благодаря такой надёжности рабочий процесс остаётся бесперебойным даже при неожиданных сбоях.

Продолжая демонстрацию, он показал, как легко отслеживать ход обучения с помощью TensorBoard — инструмента для визуализации метрик машинного обучения в реальном времени. Lightning Studio упрощает эту задачу ещё больше: платформа автоматически создаёт URL-адреса, по которым ты и коллеги из того же рабочего пространства можете открывать представления TensorBoard без дополнительной настройки. Это упрощает совместную работу и помогает всем оставаться в курсе происходящего.

Рис. 3. Схема обучения моделей Ultralytics YOLO в Lightning Studios. Изображение предоставлено автором.

Развёртывание моделей Ultralytics YOLO с помощью LitServe#

После демонстрации Лука переключил внимание на новый проект Lightning AI — недавно запущенный LitServe. LitServe упрощает преобразование обученной модели в масштабируемый сервис, которым могут пользоваться другие, и избавляет от необходимости создавать сложные конвейеры развёртывания. Инструмент берёт на себя всё — от упаковки модели до её развёртывания — с минимальными усилиями.

Чтобы показать это в реальном времени, Лука быстро продемонстрировал работу предварительно обученной модели Ultralytics YOLOv8. За несколько секунд он создал простой API для обработки входящих запросов и отправки предсказаний по изображениям. Это значит, что любой пользователь может отправить изображение в этот API и почти мгновенно получить результаты для задач компьютерного зрения, например обнаружения объектов. За кулисами модель Ultralytics YOLOv8 развёрнута как сервис: она эффективно обрабатывает запросы и изображения, а также выдаёт предсказания с минимальной задержкой.

Рис. 4. Лука демонстрирует LitServe от Lightning AI на YV24.

Он запустил инференс на изображении пиццы, и Ultralytics YOLOv8 успешно распознала такие объекты, как пицца, ложка и обеденный стол. Лука объяснил, что первый запрос обрабатывается немного дольше из-за «холодного старта», а последующие выполняются намного быстрее, когда система уже прогрета.

Затем Лука спросил: «А если я захочу открыть доступ к этому для внешних пользователей?» Он объяснил, что плагин API Builder позволяет легко превратить модель в работающий сервис, готовый к эксплуатации. Благодаря таким функциям, как собственные домены, дополнительная защита и простая интеграция, ты легко сможешь предоставить доступ к модели кому угодно.

Ключевые преимущества Lightning Studios#

В заключение Лука рассказал о масштабируемости и гибкости Lightning Studio для разработки ИИ. Он упомянул, что платформа может обучать модели на нескольких машинах, масштабируясь до 10 000 узлов, а отказоустойчивое обучение автоматически возобновляется после любых перебоев.

Например, если задача обучения в кластере GPU прерывается из-за аппаратной неисправности или перезагрузки сервера, Lightning Studios возобновляет процесс точно с того места, на котором он остановился. Это делает платформу идеальной для крупных проектов в области ИИ, например для обучения моделей глубокого обучения на огромных наборах данных, таких как ImageNet или COCO.

Вот ещё несколько ключевых преимуществ Lightning Studios, о которых рассказал Лука:

• Бесплатные ежемесячные кредиты GPU: пользователям ежемесячно предоставляется 15 бесплатных кредитов GPU, которые автоматически пополняются. Это позволяет экспериментировать и разрабатывать решения без дополнительных затрат.
• Улучшение совместной работы: Общие пространства для команд и воспроизводимые среды Lightning Studio позволяют участникам команды работать вместе, обеспечивая согласованность и эффективность проектов.
• Гибкий выбор инстансов: можно выбирать между прерываемыми и непрерываемыми инстансами, чтобы экономить на машинах с GPU, выбирая прерываемые варианты.
• Интеграция с существующими инструментами: платформа интегрируется с инструментами удаленной разработки, такими как SSH (защищенная оболочка) и VS Code, позволяя гибко работать локально или в облаке.

Главные выводы#

В докладе Луки на YV24 было показано, как ИИ в сочетании с такими инструментами, как модели Ultralytics YOLO и Lightning AI, меняет подход к решению реальных задач. Они упрощают разработчикам обучение и развёртывание моделей, предназначенных для решения конкретных проблем в самых разных отраслях.

Он показал, как Lightning Studios ускоряет и упрощает весь процесс разработки, позволяя разработчикам без труда создавать мощные решения. В основе таких платформ, как Lightning AI, лежат модели компьютерного зрения, меняющие подход к решению задач с помощью ИИ. В частности, Ultralytics YOLO11 и её преемница Ultralytics YOLO26 позволяют разработчикам создавать решения, способные приносить реальную пользу.

Присоединяйся к нашему сообществу, чтобы узнавать новости об ИИ и его практическом применении. Загляни в наш репозиторий на GitHub, чтобы изучить инновации в таких областях, как ИИ в беспилотных автомобилях и компьютерное зрение в здравоохранении.