Специальное обучение моделей Ultralytics YOLO на Lightning AI

Независимо от того, опытный ли ты разработчик в области ИИ или только начинаешь исследовать vision AI, наличие надежной среды для экспериментов с моделями компьютерного зрения, такими как Ultralytics YOLO11, является ключевым фактором. Среда — это инструменты, ресурсы и инфраструктура, необходимые для эффективной разработки, тестирования и развертывания ИИ-моделей.

Хотя многие онлайн-платформы предлагают различные инструменты для ИИ, большинство из них не предоставляют единой среды для всего жизненного цикла ИИ: от подготовки данных до развертывания моделей. Именно здесь на помощь приходит Lightning AI — комплексная платформа для разработки ИИ, которая упрощает процесс от подготовки данных до деплоя.

Актуальность упрощения разработки ИИ была продемонстрирована на YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии от Ultralytics, посвященном достижениям в области ИИ и компьютерного зрения. Luca Antiga, CTO Lightning AI, выступил с докладом под названием 'Going YOLO on Lightning Studios', в котором он рассказал, как быстро и плавно обучать модели Ultralytics YOLO, не погружаясь в технические сложности, с помощью Lightning AI.

В этой статье мы разберем основные тезисы выступления Луки, затронув все: от реальных сценариев применения компьютерного зрения до живых демонстраций обучения и развертывания моделей Ultralytics YOLO на Lightning AI. Давай начнем!

Link to this sectionИспользование Lightning AI и Ultralytics YOLO для упрощения разработки ИИ#

Лука начал свое выступление с того, что поделился своими мыслями и признательностью за влияние моделей YOLO в различных отраслях. Он отметил, как модели YOLO могут применяться в таких секторах, как производство и сельское хозяйство. Он сказал: «Я ценю то влияние, которое YOLO оказала на сообщество разработчиков — людей, которым нужно решать реальные, практические задачи, — мне это очень близко».

Связывая это с растущим интересом к обучению ИИ, он представил Lightning AI — платформу, разработанную для того, чтобы сделать процесс разработки ИИ-моделей быстрее, проще и доступнее для каждого. Она особенно полезна для поддержки итеративного развития ИИ, помогая разработчикам уточнять и улучшать модели.

Рис 1. Лука Антига удаленно рассказывает о Lightning Studios на YV24.

Он также отметил, что Lightning AI похожа на PyTorch Lightning, фреймворк, упрощающий процесс обучения ИИ-моделей. Однако отличие заключается в том, что Lightning AI — это более комплексная платформа, предоставляющая более широкий набор инструментов и возможностей для всего процесса разработки ИИ, а не только для обучения моделей.

Важным компонентом Lightning AI являются Lightning Studios, предлагающие интуитивно понятную рабочую область для проектирования, обучения и развертывания ИИ-моделей, что делает весь рабочий процесс бесшовным и эффективным. Ты можешь воспринимать Lightning Studios как воспроизводимую среду разработки для ИИ, работающую в облаке. Например, она предлагает среду, похожую на Jupyter Notebook, которую можно дублировать и передавать другому разработчику, что способствует улучшению совместной работы.

Затем Лука подробно рассказал о преимуществах Lightning Studios, сказав: «Репликация среды больше не является проблемой. Если тебе нужно перейти с машины на базе CPU [центрального процессора] на машину с GPU [графическим процессором] или запустить обучение на тысячах машин, твоя среда останется постоянной».

Link to this sectionНастройка Lightning Studios для обучения и разработки#

Далее Лука продемонстрировал, как быстро ты можешь начать работу с Lightning Studios. Всего за несколько кликов ты можешь открыть новую студию и получить доступ к инструментам и средам, таким как Jupyter Notebooks и VS Code, которые уже настроены и готовы к написанию кода. Он показал, насколько легко переключаться между разными машинами. Если задача, над которой ты работаешь, требует большей мощности, ты можешь легко переключиться с CPU на более производительный GPU. GPU будет активен только во время использования, в противном случае он перейдет в спящий режим, экономя твои кредиты.

Лука также упомянул преимущества использования шаблонов студий (Studio Templates). Это среды для написания кода ИИ, созданные сообществом, которые ты можешь использовать без необходимости что-либо настраивать. Подготовка среды для ИИ-проектов может отнимать много времени, а шаблоны студий помогают повысить производительность. Эти среды поставляются с предустановленным всем необходимым для ИИ-проектов, включая зависимости, веса моделей, данные, код и т.д.

Рис 2. Лука объясняет, что такое шаблоны студий.

Link to this sectionОбучение моделей Ultralytics YOLO в Lightning Studios#

Затем Лука перешел к живой демонстрации, показав, как можно использовать Lightning Studio для обучения моделей Ultralytics YOLO. Он открыл шаблон студии, в котором уже были установлены все зависимости, и запустил машину с четырьмя GPU, чтобы ускорить процесс обучения. Что касается данных, он отметил, что ты можешь выбирать: хранить данные непосредственно на машине или транслировать их из облака, что делает процесс обучения быстрее и эффективнее.

Через несколько секунд машина была готова, и Лука быстро запустил сессию обучения. Во время демо возникла небольшая проблема, из-за которой машина неожиданно остановилась, но Lightning Studios бесшовно возобновила работу с того места, где она прервалась, гарантируя, что прогресс не был потерян. Лука подчеркнул, как эта надежность поддерживает плавность рабочих процессов, даже при неожиданных прерываниях.

Продолжая демо, он показал, как легко отслеживать ход обучения с помощью TensorBoard — инструмента для визуализации метрик машинного обучения в реальном времени. Lightning Studio делает это еще проще, автоматически генерируя URL-адреса, которые позволяют тебе или твоим коллегам в той же рабочей области получать доступ к представлениям TensorBoard без дополнительной настройки. Это упрощает совместную работу и позволяет всем быть в курсе текущего состояния.

Рис 3. Блок-схема обучения моделей Ultralytics YOLO в Lightning Studios. Изображение автора.

Link to this sectionРазвертывание моделей Ultralytics YOLO с помощью LitServe#

После демонстрации Лука переключил внимание на новый проект LitServe, недавно запущенный Lightning AI. LitServe упрощает процесс превращения обученной модели в масштабируемый сервис, который могут использовать другие, устраняя необходимость в сложных пайплайнах развертывания. Он разработан для выполнения всех задач, от упаковки модели до ее развертывания, с минимальными усилиями.

Чтобы показать это в реальном времени, Лука провел быструю демонстрацию с использованием предобученной модели Ultralytics YOLOv8. Он смог создать простой API для обработки входящих запросов и возврата предсказаний изображений за несколько секунд. Это означает, что любой может отправить запрос к этому API с изображением и мгновенно получить результаты для задач компьютерного зрения, таких как обнаружение объектов. За кадром модель Ultralytics YOLOv8 развернута как сервис, эффективно обрабатывающий запросы, анализирующий изображения и предоставляющий предсказания с минимальной задержкой.

Рис 4. Лука демонстрирует LitServe от Lightning AI на YV24.

Он выполнил инференс на изображении пиццы, и Ultralytics YOLOv8 успешно распознала такие объекты, как пицца, ложка и обеденный стол. Он пояснил, что, хотя первый запрос занимает немного больше времени из-за «холодного старта», последующие запросы проходят намного быстрее после того, как система прогрета.

Затем Лука задал вопрос: «Что, если я хочу открыть доступ к этому извне?» Он рассказал, как плагин API Builder делает создание живого, готового к продакшену сервиса на основе твоей модели простым. Благодаря таким функциям, как пользовательские домены, дополнительная безопасность и бесшовная интеграция, ты можешь легко сделать свою модель доступной для кого угодно.

Link to this sectionКлючевые преимущества использования Lightning Studios#

Завершая выступление, Лука затронул темы масштабируемости и гибкости Lightning Studio для разработки ИИ. Он отметил, как платформа может обучать модели на нескольких машинах, масштабируясь до 10 000 узлов, с отказоустойчивым обучением, которое автоматически возобновляется после любых прерываний.

Например, если задача обучения на GPU-кластере прерывается из-за аппаратной проблемы или перезагрузки сервера, Lightning Studios гарантирует, что процесс возобновится с того самого места, на котором он остановился. Это делает платформу идеальной для масштабных ИИ-проектов, таких как обучение моделей глубокого обучения на огромных наборах данных, например ImageNet или COCO.

Вот еще несколько ключевых преимуществ Lightning Studios, о которых рассказал Лука:

• Бесплатные ежемесячные GPU-кредиты: Пользователи получают 15 бесплатных GPU-кредитов каждый месяц, которые автоматически обновляются, что позволяет тебе экспериментировать и разрабатывать без дополнительных затрат.
• Улучшенная совместная работа: Общие рабочие пространства команды в Lightning Studio и воспроизводимые среды позволяют членам команды работать вместе без проблем, обеспечивая согласованность и эффективность проектов.
• Гибкие варианты инстансов: Платформа дает тебе возможность выбора между прерываемыми и непрерываемыми инстансами, что позволяет пользователям экономить на GPU-машинах с помощью прерываемых вариантов.
• Интеграция с существующими инструментами: Платформа интегрируется с инструментами удаленной разработки, такими как SSH (Secure Socket Shell) и VS Code, обеспечивая гибкость работы локально или в облаке.

Link to this sectionОсновные выводы#

Выступление Луки на YV24 подчеркнуло, как ИИ в сочетании с такими инструментами, как модели Ultralytics YOLO и Lightning AI, меняет способы решения реальных задач. Они упрощают для разработчиков обучение и развертывание моделей, разработанных для решения конкретных проблем в различных отраслях.

Он проиллюстрировал, как Lightning Studios делает весь процесс разработки быстрее и доступнее, позволяя разработчикам легко создавать мощные решения. В основе передовых платформ, таких как Lightning AI, модели компьютерного зрения трансформируют то, как ИИ-решения справляются с вызовами. В частности, с новейшей моделью Ultralytics YOLO11 разработчики могут создавать решения, которые оказывают значимое влияние.

Присоединяйся к нашему сообществу, чтобы оставаться в курсе новостей об ИИ и его практическом применении. Посмотри наш репозиторий на GitHub, чтобы изучить инновации в таких секторах, как ИИ в беспилотных автомобилях и компьютерное зрение в здравоохранении.