Индивидуальное обучение моделей Ultralytics YOLO на Lightning AI

Абирами Вина

3 мин. чтения

13 января 2025 г.

Узнайте, как Lightning AI, представленный на выставке YOLO Vision 2024, упрощает разработку масштабируемого искусственного интеллекта, ускоряя обучение моделей, их развертывание и совместную работу.

Независимо от того, являетесь ли вы опытным разработчиком ИИ или только начинаете изучать искусственное зрение, наличие надежной среды для игр и экспериментов с моделями компьютерного зрения, такими как Ultralytrics YOLO11, является ключевым фактором. Среда - это инструменты, ресурсы и инфраструктура, необходимые для разработки, тестирования и эффективного развертывания моделей ИИ. 

Хотя несколько онлайн-платформ предлагают различные инструменты ИИ, многие из них не обеспечивают единой среды для всего жизненного цикла ИИ - от подготовки данных до развертывания модели. Именно здесь на помощь приходит Lightning AI, универсальная платформа для разработки ИИ, которая позволяет оптимизировать процесс от подготовки данных до развертывания.

Актуальность упрощения разработки ИИ была продемонстрирована на YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организованном компанией Ultralytics и посвященном достижениям в области ИИ и компьютерного зрения. Лука Антига, технический директор Lightning AI, выступил с основным докладом под названием"Going YOLO on Lightning Studios", в котором рассказал о том, как с помощью Lightning AI быстро, плавно и не вникая в технические сложности обучать модели Ultralytics YOLO.

В этой статье мы рассмотрим основные моменты выступления Луки, начиная с реальных приложений компьютерного зрения и заканчивая живыми демонстрациями обучения и развертывания моделей Ultralytics YOLO с помощью Lightning AI. Давайте начнем!

Использование Lightning AI и Ultralytics YOLO для упрощения разработки ИИ

Лука начал свой доклад с того, что поделился своими мыслями и оценил влияние моделей YOLO в различных отраслях. Он подчеркнул, как модели YOLO могут применяться в таких отраслях, как производство и сельское хозяйство. Он сказал: "Я ценю влияние YOLO на сообщество строителей - людей, которым нужно решать реальные, практические проблемы - это очень близко мне".

Связав это с растущим интересом к обучению ИИ, он представил Lightning AI, платформу, призванную сделать разработку моделей ИИ более быстрой, простой и доступной для всех. Она особенно полезна для поддержки итеративного развития ИИ, помогая разработчикам дорабатывать и улучшать модели.

__wf_reserved_inherit
Рис. 1. Лука Антига дистанционно представляет Lightning Studios на YV24.

Он также отметил, что Lightning AI похожа на PyTorch Lightning, фреймворк, который упрощает процесс обучения моделей ИИ. Однако отличие заключается в том, что Lightning AI - это более комплексная платформа, предоставляющая более широкий набор инструментов и возможностей для всего процесса разработки ИИ, а не только для обучения моделей ИИ. 

Важнейшим компонентом Lightning AI является Lightning Studios, которая предлагает интуитивно понятное рабочее пространство для разработки, обучения и развертывания моделей ИИ, делая весь рабочий процесс плавным и эффективным. Lightning Studios можно рассматривать как воспроизводимую среду разработки для ИИ, работающую в облаке. Например, она предлагает среду, похожую на блокнот Jupyter Notebook, которую можно дублировать и передавать другим разработчикам, что способствует улучшению совместной работы. 

Затем Лука подробно рассказал о преимуществах Lightning Studios: "Репликация среды больше не является проблемой. Если вам нужно сменить машину с CPU [центральным процессором] на машину с GPU [графическим процессором] или запустить обучение на тысяче машин, ваша среда будет постоянной".

Создание студий Lightning для обучения и развития

Далее Лука продемонстрировал, как быстро можно начать работу с Lightning Studios. Всего за несколько кликов вы можете открыть новую студию и получить доступ к таким инструментам и средам, как Jupyter Notebooks и VS Code, все настроено и готово к кодированию. Он продемонстрировал, как легко переключаться между разными машинами. Если задача, над которой вы работаете, требует большей мощности, вы можете легко переключиться с CPU на более мощный GPU. Графический процессор будет активен только во время работы, в противном случае он перейдет в спящий режим, экономя ваши кредиты.

Лука также упомянул о преимуществах использования шаблонов Studio Templates. Это готовые среды для кодирования ИИ, созданные сообществом, и вы можете использовать их без необходимости что-то настраивать. Настройка среды для проектов ИИ может отнимать много времени, поэтому шаблоны Studio Templates помогут повысить производительность. Эти среды поставляются со всем необходимым для проектов ИИ: установленными зависимостями, весами моделей, данными, кодом и т. д.

__wf_reserved_inherit
Рис. 2. Лука объясняет, что такое шаблоны Studio Templates.

Обучение моделей Ultralytics YOLO на Lightning Studios

Затем Лука перешел к живой демонстрации, показав, как можно использовать Lightning Studio для обучения моделей Ultralytics YOLO. Он открыл шаблон Studio, в котором уже были установлены все зависимости, и запустил машину с четырьмя графическими процессорами, чтобы ускорить процесс обучения. Что касается данных, то, по его словам, вы можете хранить их непосредственно на машине или передавать из облака, что делает процесс обучения более быстрым и эффективным.

Через несколько секунд машина была готова, и Лука быстро приступил к тренировке. Во время демонстрации незначительная проблема привела к неожиданной остановке машины, но Lightning Studios плавно возобновила работу с того места, где она остановилась, не допустив потери прогресса. Лука отметил, что такая надежность обеспечивает бесперебойную работу даже в условиях неожиданных прерываний.

Продолжая демонстрацию, он показал, как легко следить за ходом обучения с помощью TensorBoard, инструмента для визуализации показателей машинного обучения в режиме реального времени. Lightning Studio делает это еще проще, автоматически генерируя URL-адреса, которые позволяют вам или вашим коллегам в одном рабочем пространстве получить доступ к представлениям TensorBoard без дополнительных настроек. Это упрощает совместную работу и позволяет всем быть на одной волне. 

__wf_reserved_inherit
Рис. 3. Блок-схема обучения моделей Ultralytics YOLO на Lightning Studios. Изображение автора.

Развертывание моделей Ultralytics YOLO с помощью Lit Serve

После демонстрации Лука переключил внимание слушателей на новый проект LitServe, недавно запущенный компанией Lightning AI. LitServe упрощает процесс получения обученной модели и превращения ее в масштабируемый сервис, который могут использовать другие пользователи, устраняя необходимость в сложных конвейерах развертывания. Он разработан для того, чтобы с минимальными усилиями справиться со всем, начиная с упаковки модели и заканчивая ее развертыванием.

Чтобы показать это в реальном времени, Лука продемонстрировал аудитории быструю демонстрацию с использованием предварительно обученной модели Ultralytics YOLOv8. Он смог создать простой API, который обрабатывает входящие запросы и возвращает предсказания изображений за несколько секунд. Это означает, что любой человек может отправить этому API изображение и практически мгновенно получить результаты для задач компьютерного зрения, таких как обнаружение объектов. За кулисами модель Ultralytics YOLOv8 развернута как сервис, эффективно обрабатывает запросы, обрабатывает изображения и выдает прогнозы с минимальной задержкой.

__wf_reserved_inherit
Рис. 4. Лука демонстрирует LitServe от Lightning AI во время YV24.

Он выполнил вывод на изображении пиццы, и Ultralytics YOLOv8 успешно идентифицировала такие объекты, как пицца, ложка и обеденный стол. Он объяснил, что хотя первый запрос занимает немного больше времени из-за "холодного старта", последующие запросы выполняются гораздо быстрее, как только система разогревается.

Затем Лука спросил: "А что, если я захочу вывести это на внешний рынок?". Он рассказал о том, как плагин API Builder позволяет легко превратить вашу модель в живой, готовый к производству сервис. Благодаря таким функциям, как пользовательские домены, дополнительная безопасность и бесшовная интеграция, вы можете легко сделать свою модель доступной для всех.

Ключевые преимущества использования Lightning Studios

Завершая свое выступление, Лука затронул тему масштабируемости и гибкости Lightning Studio для разработки ИИ. Он рассказал о том, как платформа может обучать модели на нескольких машинах, масштабируясь до 10 000 узлов, с отказоустойчивым обучением, которое автоматически возобновляется после любых прерываний. 

Например, если процесс обучения на кластере GPU прерывается из-за проблем с оборудованием или перезагрузки сервера, Lightning Studios гарантирует, что процесс возобновится с того самого места, на котором он остановился. Это делает ее идеальной для крупномасштабных проектов ИИ, таких как обучение моделей глубокого обучения на массивных наборах данных, например ImageNet или COCO.

Вот некоторые другие ключевые преимущества Lightning Studios, о которых говорил Лука:

  • Бесплатные ежемесячные кредиты GPU: Каждый месяц пользователям предоставляется 15 бесплатных кредитов GPU, которые автоматически пополняются, что позволяет экспериментировать и развиваться без дополнительных затрат.
  • Улучшенная совместная работа: Общие командные пространства Lightning Studio и воспроизводимые среды позволяют членам команды работать вместе, обеспечивая согласованность и эффективность проектов.
  • Гибкие варианты экземпляров: Предоставляет возможность выбора между прерываемыми и не прерываемыми экземплярами, позволяя пользователям экономить на машинах GPU с прерываемыми вариантами.
  • Интеграция с существующими инструментами: Платформа интегрируется с инструментами удаленной разработки, такими как SSH (Secure Socket Shell) и VS Code, обеспечивая гибкость при работе как локально, так и в облаке.

Основные выводы

В своем выступлении на YV24 Лука рассказал о том, как ИИ в сочетании с такими инструментами, как модели Ultralytics YOLO и Lightning AI, меняет способы решения реальных проблем. Они облегчают разработчикам обучение и развертывание моделей, созданных для решения конкретных задач в различных отраслях.

Он рассказал о том, как Lightning Studios ускоряет и делает более доступным весь процесс разработки, позволяя разработчикам легко создавать мощные решения. Модели компьютерного зрения, лежащие в основе таких передовых платформ, как Lightning AI, меняют способы решения задач ИИ. В частности, с помощью новейшей модели Ultralytics YOLO11 разработчики могут создавать решения, которые оказывают значимое влияние.

Присоединяйтесь к нашему сообществу, чтобы быть в курсе новостей об искусственном интеллекте и его практическом применении. Загляните в наш репозиторий GitHub, чтобы изучить инновации в таких областях, как ИИ в самодвижущихся автомобилях и компьютерное зрение в здравоохранении.

Давайте вместе построим будущее
искусственного интеллекта!

Начните свое путешествие в будущее машинного обучения

Начните бесплатно
Ссылка копируется в буфер обмена