Scaleout сокращает время обновления моделей с недель до часов с помощью Ultralytics YOLO

Обучение моделей машинного обучения обычно предполагает, что ты можешь собрать все данные в одном месте, отправить их в облако и развернуть готовую модель. Во многих реальных условиях это предположение не работает. В оборонной, промышленной и регулируемых сферах данные привязаны к месту своего нахождения из-за законов о конфиденциальности, требований безопасности или высокой стоимости передачи, а сеть, соединяющая эти локации, не всегда надежна.

Scaleout создает инфраструктуру именно для таких условий. Её платформа Scaleout Edge использует федеративное обучение, чтобы перенести обучение модели туда, где находятся данные, вместо перемещения данных к модели. Для проектов в области компьютерного зрения Scaleout проводит кастомное обучение и дообучение моделей Ultralytics YOLO на Vision Ground Nodes — GPU-ускоренных периферийных станциях, развернутых на каждом объекте, чтобы детектирование улучшалось прямо в полевых условиях, а конфиденциальные изображения никогда не покидали устройство.

Link to this sectionПеренос машинного обучения туда, где живут данные#

Основанная в 2018 году исследователями из Уппсальского университета, работавшими над крупномасштабными распределенными системами, Scaleout поставила цель сделать машинное обучение возможным там, где данные нельзя централизовать. Компания фокусируется на ситуациях, где сбор данных в одном месте затруднен или невозможен, а федеративное обучение является ключевым механизмом для решения этой задачи.

Федеративное обучение распределяет процесс обучения между множеством устройств, а затем собирает обновления их моделей в центральном узле управления, который агрегирует их в новую глобальную модель. Каждое устройство выигрывает от понимания своей локальной среды, в то время как весь парк устройств выигрывает от коллективного интеллекта. Данные остаются на своем месте, и передается только то, чему обучилась модель.

Работа Scaleout охватывает оборонный, промышленный, транспортный и другие регулируемые секторы и включает такие проекты, как акселератор НАТО DIANA и сотрудничество с BAE Systems. Везде прослеживается один и тот же паттерн: данные не могут перемещаться, а модели должны постоянно улучшаться.

Link to this sectionСложности периферийного машинного обучения#

Вот более детальный взгляд на ограничения, с которыми столкнулась Scaleout при обучении моделей в полевых условиях:

• Ограниченное аппаратное обеспечение: В полевых развертываниях нет серверов уровня дата-центра, только небольшие маломощные устройства, такие как компьютер на дроне. Запуск готовой модели на них возможен, но для дообучения требуется гораздо больше вычислительных мощностей.

• Данные заблокированы на устройстве: Материалы, необходимые для дообучения, часто являются проприетарными и не могут быть отправлены на центральный сервер, поэтому модель должна обучаться на данных, которые никогда не покидают периферию.

• Отсутствие специалистов на месте: Операторы, собирающие данные в полевых условиях, редко являются инженерами по машинному обучению, поэтому процесс дообучения не может зависеть от наличия экспертов по data science.

• Постоянно меняющиеся условия: Полевая обстановка меняется быстро, поэтому модель должна обновляться непрерывно, а не по медленным, периодическим циклам переобучения.

Link to this sectionДообучение моделей Ultralytics YOLO на периферии#

Чтобы работать в этих рамках, Scaleout построила цикл обучения, который полностью выполняется в полевых условиях, с использованием моделей Ultralytics YOLO в качестве основы.

На каждом объекте Vision Ground Node — GPU-ускоренная периферийная станция с собственными вычислительными мощностями и хранилищем — работает вместе с парком дронов. Пока дроны снимают видео, узел выбирает наиболее полезные кадры, оператор размечает их, и модель YOLO дообучается прямо на локальном оборудовании.

После нескольких эпох обучения на центральный узел управления отправляется только обновленная модель, но никогда — исходные видеоматериалы. Этот цикл реализуется через модуль зрения Scaleout — расширение платформы Scaleout Edge, которое объединяет инструменты для проектов компьютерного зрения в один пакет.

Он объединяет выбор кадров, аннотирование, обучение и развертывание, при этом Ultralytics YOLO отвечает за детектирование, так что команды могут строить работу на надежной основе, вместо того чтобы собирать все элементы самостоятельно.

Scaleout впервые применила этот подход в акселераторе НАТО DIANA, используя YOLOv8 для дообучения детектирования на данных, собранных в полевых условиях. Эти данные нельзя было передать через полевые сети или централизовать по соображениям конфиденциальности, поэтому команда децентрализовала дообучение, позволив модели учиться на новых примерах локально.

Цикл также создан для операторов, а не для специалистов по данным. Система направляет неспециалиста через процесс просмотра и разметки важных кадров, чтобы люди в полевых условиях могли самостоятельно поддерживать улучшение модели.

Вспомогательные инструменты отражают этот подход: используется open-source версия Label Studio для разметки, стриминговый сервер для приема потоков с дронов и Python-пакет Ultralytics для дообучения. Всё это работает на оборудовании, начиная от модулей NVIDIA Jetson и заканчивая защищенными полевыми устройствами или ноутбуками, в зависимости от развертывания.

Link to this sectionПочему стоит выбрать модели Ultralytics YOLO?#

Для Scaleout самым большим преимуществом Ultralytics YOLO является легковесность моделей, что делает федеративное обучение через слабые каналы связи практичным. Вместо перемещения исходных данных Scaleout передает только обновление модели. Самая часто используемая модель, Ultralytics YOLOv8 nano, весит около 10,7 МБ, поэтому полное обновление — это небольшой пакет для отправки даже при дефиците пропускной способности.

Python-пакет Ultralytics также дает инженерам Scaleout гибкость в обучении и развертывании на различном оборудовании. Компактная модель YOLOv8 nano комфортно работает на периферийных устройствах с ограничениями, а опции экспорта пакета поддерживают развертывание в различных средах, с которыми работает Scaleout. Поскольку модели легко дообучать, команды могут быстро итерировать при изменении полевых условий.

Link to this sectionUltralytics YOLO помогает Scaleout быстрее обновлять модели#

С Ultralytics YOLO самая тяжелая часть работы остается на устройстве. Обучение запускается на сотнях гигабайт полевых материалов, но передается только модель весом около 10 МБ. Это дает примерно десятикратное сокращение объема передаваемых данных, что делает федеративное обучение жизнеспособным в ограниченных сетях, на которые опираются эти развертывания.

Такой подход также меняет скорость возвращения улучшенной модели в полевые условия. То, что могло бы занять недели или месяцы — сбор данных, отправка в центр, переобучение и повторное развертывание — сокращается до дней и часов, когда цикл выполняется на периферии.

Это наиболее ярко проявляется в работе Scaleout с дронами. В оборонной разведке дрон выполняет поисковый маршрут и использует встроенную модель Ultralytics YOLO для обнаружения, идентификации и геолокации объектов интереса в реальном времени, при этом вся обработка происходит на собственном компьютере дрона, а не отправляется для анализа вовне.

По мере того как дроны собирают новые кадры, эти данные поступают в Vision Ground Node, где YOLO дообучается на новых материалах, а обновленная модель отправляется обратно — и всё это без вывода исходных видеоматериалов за пределы объекта. Модели детектирования должны идти в ногу с быстро меняющимися условиями и данными, которые нельзя перемещать; локально переобученная модель остается полезной там, где статичная, централизованно обученная модель быстро устарела бы.

Рис 1. Пример того, как Scaleout и Ultralytics YOLO расширяют возможности AI-дронов (Источник)

Этот же паттерн распространяется далеко за пределы дронов. В промышленных условиях, например на энергетических объектах или удаленных объектах, где данные каждого объекта конфиденциальны, платформа улучшает модели детектирования на многих точках без передачи исходных данных за границы объекта. Независимо от того, где находятся данные — на дроне или на стационарной установке — Scaleout хранит их на месте и перемещает только то, чему обучилась модель.

Link to this sectionСоздание адаптивного AI для сред, где данные не могут перемещаться#

По мере роста Scaleout продолжает расширять свое федеративное периферийное компьютерное зрение на большее количество сред и оборудования. Готовые модули спроектированы так, чтобы сжать месяцы интеграции в дни, поэтому клиенты могут использовать свое собственное оборудование и применять адаптивный цикл обучения, не переписывая лежащий в основе код машинного обучения.

С Ultralytics YOLO в центре своего конвейера детектирования Scaleout делает возможным обучение и улучшение AI именно в тех средах, где традиционные подходы не справляются, сохраняя данные на месте, обеспечивая работу в офлайне и превращая парки периферийных устройств в систему, которая постоянно учится как единое целое.

Готов узнать, что Vision AI может сделать для тебя? Переходи в наш репозиторий на GitHub, чтобы узнать, как модели YOLO меняют такие сферы, как AI в производстве и компьютерное зрение в робототехнике. Ознакомься с нашими вариантами лицензирования и начни свой путь к более умной автоматизации.