Специальное обучение моделей Ultralytics YOLO на Lightning AI

Независимо от того, являешься ли ты опытным разработчиком ИИ или только начинаешь изучать видео-ИИ, наличие надежной среды для экспериментов с моделями компьютерного зрения, такими как Ultralytics YOLO11, имеет ключевое значение. Под средой понимаются инструменты, ресурсы и инфраструктура, необходимые для эффективного проектирования, тестирования и развертывания моделей ИИ.

Хотя многие онлайн-платформы предлагают различные инструменты для ИИ, большинство из них не предоставляют единой среды для всего жизненного цикла ИИ: от подготовки данных до развертывания моделей. Именно здесь на помощь приходит Lightning AI — комплексная платформа для разработки ИИ, которая упрощает процесс от подготовки данных до деплоя.

Актуальность упрощения разработки ИИ была продемонстрирована на YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организованном Ultralytics, которое было посвящено достижениям в области ИИ и компьютерного зрения. Лука Антига, технический директор Lightning AI, выступил с основным докладом под названием 'Going YOLO on Lightning Studios', в котором он рассказал, как быстро, плавно и без погружения в технические сложности обучать модели Ultralytics YOLO с помощью Lightning AI.

В этой статье мы разберем основные тезисы выступления Луки, затронув все: от реальных сценариев применения компьютерного зрения до живых демонстраций обучения и развертывания моделей Ultralytics YOLO на Lightning AI. Давай начнем!

Использование Lightning AI и Ultralytics YOLO для упрощения разработки ИИ#

Лука начал свое выступление с того, что поделился своими мыслями и признательностью за влияние моделей YOLO в различных отраслях. Он отметил, как модели YOLO могут применяться в таких секторах, как производство и сельское хозяйство. Он сказал: «Я ценю то влияние, которое YOLO оказала на сообщество разработчиков — людей, которым нужно решать реальные, практические задачи, — мне это очень близко».

Связывая это с растущим интересом к обучению ИИ, он представил Lightning AI — платформу, разработанную для того, чтобы сделать процесс разработки ИИ-моделей быстрее, проще и доступнее для каждого. Она особенно полезна для поддержки итеративного развития ИИ, помогая разработчикам уточнять и улучшать модели.

Рис. 1. Лука Антига дистанционно рассказывает о Lightning Studios на YV24.

Он также отметил, что Lightning AI похож на PyTorch Lightning — фреймворк, который упрощает процесс обучения моделей ИИ. Однако его отличие заключается в том, что Lightning AI — это более комплексная платформа, предоставляющая широкий набор инструментов и возможностей для всего процесса разработки ИИ, а не только для обучения моделей.

Важным компонентом Lightning AI являются Lightning Studios, предлагающие интуитивно понятное рабочее пространство для проектирования, обучения и развертывания моделей ИИ, что делает весь рабочий процесс бесшовным и эффективным. Ты можешь рассматривать Lightning Studios как воспроизводимую среду разработки для ИИ, которая работает в облаке. Например, она предлагает среду, похожую на Jupyter Notebook, которую можно дублировать и делиться ею с другим разработчиком, что помогает улучшить совместную работу.

Затем Лука подробно рассказал о преимуществах Lightning Studios, сказав: «Репликация среды больше не является проблемой. Если тебе нужно перейти с машины на базе CPU [центрального процессора] на машину с GPU [графическим процессором] или запустить обучение на тысячах машин, твоя среда останется постоянной».

Настройка Lightning Studios для обучения и разработки#

Затем Лука продемонстрировал, как быстро можно начать работу с Lightning Studios. Всего в несколько кликов ты можешь открыть новую студию и получить доступ к таким инструментам и средам, как Jupyter Notebooks и VS Code, полностью настроенным и готовым к написанию кода. Он показал, как легко переключаться между разными машинами. Если задача, над которой ты работаешь, требует больше мощности, ты можешь легко переключиться с CPU на более мощный GPU. GPU будет оставаться активным только во время использования; в противном случае он перейдет в спящий режим, экономя твои кредиты.

Лука также упомянул преимущества использования шаблонов студий (Studio Templates). Это среды для написания кода ИИ, созданные сообществом, которые ты можешь использовать без необходимости что-либо настраивать. Подготовка среды для ИИ-проектов может отнимать много времени, а шаблоны студий помогают повысить производительность. Эти среды поставляются с предустановленным всем необходимым для ИИ-проектов, включая зависимости, веса моделей, данные, код и т.д.

Рис. 2. Лука объясняет, что такое шаблоны студий.

Обучение моделей Ultralytics YOLO в Lightning Studios#

Затем Лука перешел к живому демо, показав, как можно использовать Lightning Studio для обучения моделей Ultralytics YOLO. Он открыл шаблон студии, в котором уже были установлены все зависимости, и запустил машину с четырьмя GPU для ускорения процесса обучения. Что касается данных, он сказал, что ты можешь хранить данные прямо на машине или передавать их в потоковом режиме из облака, что делает процесс обучения быстрее и эффективнее.

Через несколько секунд машина была готова, и Лука быстро запустил сессию обучения. Во время демо возникла небольшая проблема, из-за которой машина неожиданно остановилась, но Lightning Studios бесшовно возобновила работу с того места, где она прервалась, гарантируя, что прогресс не был потерян. Лука подчеркнул, как эта надежность поддерживает плавность рабочих процессов, даже при неожиданных прерываниях.

Продолжая демонстрацию, он показал, как легко отслеживать прогресс обучения с помощью TensorBoard, инструмента для визуализации метрик машинного обучения в реальном времени. Lightning Studio делает это еще проще, автоматически генерируя URL-адреса, которые позволяют тебе или твоим коллегам по рабочему пространству получать доступ к представлениям TensorBoard без какой-либо дополнительной настройки. Это оптимизирует совместную работу и позволяет всем быть на одной волне.

Рис 3. Блок-схема обучения моделей Ultralytics YOLO в Lightning Studios. Изображение автора.

Развертывание моделей Ultralytics YOLO с помощью LitServe#

После демонстрации Лука переключил внимание на новый проект LitServe, недавно запущенный Lightning AI. LitServe упрощает процесс превращения обученной модели в масштабируемый сервис, который могут использовать другие, устраняя необходимость в сложных пайплайнах развертывания. Он разработан для выполнения всех задач, от упаковки модели до ее развертывания, с минимальными усилиями.

Чтобы показать это в реальном времени, Лука провел для аудитории короткую демонстрацию с использованием предобученной модели Ultralytics YOLOv8. Он смог создать простой API для обработки входящих запросов и возврата предсказаний изображений за несколько секунд. Это означает, что любой может отправить запрос к этому API с изображением и почти мгновенно получить результаты для задач компьютерного зрения, таких как обнаружение объектов. Под капотом модель Ultralytics YOLOv8 развернута как сервис, эффективно обрабатывающий запросы, обрабатывающий изображения и выдающий предсказания с минимальной задержкой.

Рис. 4. Лука демонстрирует LitServe от Lightning AI на YV24.

Он выполнил инференс на изображении пиццы, и Ultralytics YOLOv8 успешно распознала такие объекты, как пицца, ложка и обеденный стол. Он пояснил, что, хотя первый запрос занимает немного больше времени из-за «холодного старта», последующие запросы проходят намного быстрее после того, как система прогрета.

Затем Лука задал вопрос: «Что, если я хочу открыть доступ к этому извне?» Он рассказал, как плагин API Builder делает создание живого, готового к продакшену сервиса на основе твоей модели простым. Благодаря таким функциям, как пользовательские домены, дополнительная безопасность и бесшовная интеграция, ты можешь легко сделать свою модель доступной для кого угодно.

Ключевые преимущества использования Lightning Studios#

Завершая выступление, Лука затронул темы масштабируемости и гибкости Lightning Studio для разработки ИИ. Он отметил, как платформа может обучать модели на нескольких машинах, масштабируясь до 10 000 узлов, с отказоустойчивым обучением, которое автоматически возобновляется после любых прерываний.

Например, если процесс обучения на кластере GPU прерывается из-за аппаратной проблемы или перезагрузки сервера, Lightning Studios гарантирует, что процесс возобновится ровно с того места, где он остановился. Это делает ее идеальной для крупномасштабных проектов ИИ, таких как обучение моделей глубокого обучения на массивных наборах данных, таких как ImageNet или COCO.

Вот еще несколько ключевых преимуществ Lightning Studios, о которых рассказал Лука:

• Бесплатные ежемесячные GPU-кредиты: Пользователи получают 15 бесплатных GPU-кредитов каждый месяц, которые автоматически обновляются, что позволяет тебе экспериментировать и разрабатывать без дополнительных затрат.
• Улучшенная совместная работа: Общие рабочие пространства команды в Lightning Studio и воспроизводимые среды позволяют членам команды работать вместе без проблем, обеспечивая согласованность и эффективность проектов.
• Гибкие варианты инстансов: Платформа дает тебе возможность выбора между прерываемыми и непрерываемыми инстансами, что позволяет пользователям экономить на GPU-машинах с помощью прерываемых вариантов.
• Интеграция с существующими инструментами: Платформа интегрируется с инструментами удаленной разработки, такими как SSH (Secure Socket Shell) и VS Code, обеспечивая гибкость работы локально или в облаке.

Основные выводы#

Выступление Луки на YV24 подчеркнуло, как ИИ в сочетании с такими инструментами, как модели Ultralytics YOLO и Lightning AI, меняет способы решения реальных задач. Они упрощают для разработчиков обучение и развертывание моделей, разработанных для решения конкретных проблем в различных отраслях.

Он проиллюстрировал, как Lightning Studios делает весь процесс разработки быстрее и доступнее, позволяя разработчикам легко создавать мощные решения. В основе передовых платформ, таких как Lightning AI, модели компьютерного зрения трансформируют то, как ИИ-решения справляются с вызовами. В частности, с новейшей моделью Ultralytics YOLO11 разработчики могут создавать решения, которые оказывают значимое влияние.

Присоединяйся к нашему сообществу, чтобы быть в курсе новостей об ИИ и его практическом применении. Посмотри наш репозиторий на GitHub, чтобы изучить инновации в таких секторах, как ИИ в самоуправляемых автомобилях и компьютерное зрение в здравоохранении.