Тонко настраивая модели Ultralytics YOLO на периферийных устройствах, Scaleout оставляет данные на месте, работает офлайн и выпускает новые модели обнаружения за часы вместо недель.
Обучение моделей машинного обучения обычно предполагает, что все данные можно собрать в одном месте, отправить в облако и развернуть готовую модель. Во многих реальных сценариях это предположение не работает. В оборонной, промышленной и регулируемой сферах данные привязаны к месту хранения из-за законов о конфиденциальности, уровня секретности или просто высокой стоимости передачи, а сеть, соединяющая эти места, не всегда заслуживает доверия.
Scaleout создает инфраструктуру именно для таких условий. Ее платформа Scaleout Edge использует федеративное обучение, чтобы перенести обучение модели туда, где находятся данные, а не перемещать данные к модели. Для проектов в области компьютерного зрения Scaleout выполняет дообучение и тонкую настройку моделей Ultralytics YOLO на Vision Ground Nodes — периферийных станциях с GPU-ускорением, развернутых на каждом объекте, — поэтому обнаружение продолжает улучшаться в полевых условиях, а конфиденциальные изображения никогда не покидают устройство.
Перенос машинного обучения туда, где находятся данные#
Основанная в 2018 году исследователями из Уппсальского университета, работавшими над распределенными системами крупного масштаба, компания Scaleout поставила перед собой цель сделать машинное обучение возможным там, где данные нельзя централизовать. Она сосредоточена на сценариях, в которых собрать данные в одном месте сложно или невозможно, а федеративное обучение — основной механизм, обеспечивающий такую работу.
Федеративное обучение распределяет обучение между множеством устройств, а затем собирает обновления их моделей в центральной плоскости управления, где объединяет их в новую глобальную модель. Каждое устройство получает преимущества от понимания собственной локальной среды, а весь парк — от коллективного интеллекта. Данные остаются там, где должны быть, а перемещается только то, чему научилась модель.
Scaleout работает в оборонной, промышленной, транспортной и других регулируемых сферах, включая такие проекты, как акселерационная программа NATO DIANA и сотрудничество с BAE Systems. Во всех этих случаях картина одинакова: данные нельзя перемещать, но модели по-прежнему необходимо улучшать.
Сложности машинного обучения на периферии#
Рассмотрим подробнее ограничения, с которыми Scaleout столкнулась при обучении моделей в полевых условиях:
-
Ограниченные аппаратные ресурсы: В полевых развертываниях нет серверов дата-центра — только небольшие устройства с низким энергопотреблением, например компьютер на дроне. Запуск готовой модели на них возможен, но ее переобучение требует значительно больших вычислительных ресурсов.
-
Данные заблокированы на устройстве: Видеозаписи, необходимые для переобучения, часто являются собственностью компании и не могут быть отправлены на центральный сервер, поэтому модель должна обучаться на данных, которые никогда не покидают периферию.
-
На месте нет специалистов: Операторы, собирающие данные в полевых условиях, редко являются инженерами по машинному обучению, поэтому переобучение не может зависеть от присутствия специалистов по анализу данных.
-
Условия постоянно меняются: Полевые условия быстро меняются, поэтому модель необходимо обновлять непрерывно, а не переобучать медленными периодическими циклами.
Тонкая настройка моделей Ultralytics YOLO на периферии#
Чтобы работать в рамках этих ограничений, Scaleout создала цикл обучения, который полностью выполняется в полевых условиях, а в его центре находятся модели Ultralytics YOLO.
На каждом объекте Vision Ground Node — периферийная станция с GPU-ускорением, собственными вычислительными ресурсами и хранилищем — работает вместе с парком дронов. Пока дроны записывают видео, узел выбирает наиболее полезные кадры, оператор размечает их, а модель YOLO проходит тонкую настройку на этом локальном оборудовании.
После нескольких эпох обучения на плоскость управления отправляется только обновленная модель, а исходные видеозаписи не отправляются никогда. Этот цикл реализуется через vision-модуль Scaleout — расширение платформы Scaleout Edge, объединяющее инструменты, необходимые проекту компьютерного зрения, в единый пакет.
Он объединяет выбор кадров, аннотирование, обучение и развертывание, а Ultralytics YOLO отвечает за обнаружение, поэтому команды могут использовать готовую рабочую основу, вместо того чтобы собирать все эти компоненты самостоятельно.
Scaleout впервые применила этот подход в акселерационной программе NATO DIANA, используя YOLOv8 для тонкой настройки обнаружения на данных, собранных в полевых условиях. Эти данные нельзя было передавать по полевым сетям или централизовать по причинам конфиденциальности, поэтому команда децентрализовала тонкую настройку, позволив модели локально обучаться на новых примерах.
Этот цикл создан также для операторов, а не специалистов по анализу данных. Система помогает неспециалисту просматривать и размечать значимые кадры, поэтому люди в полевых условиях могут самостоятельно продолжать улучшать модель.
Вспомогательные инструменты соответствуют этой задаче: для аннотирования используется версия Label Studio с открытым исходным кодом, потоковый сервер принимает видеопотоки с дронов, а пакет Ultralytics для Python используется для тонкой настройки. Все это работает на оборудовании от модулей NVIDIA Jetson до защищенного полевого устройства или ноутбука — в зависимости от развертывания.
Почему стоит выбрать модели Ultralytics YOLO?#
Для Scaleout главное преимущество Ultralytics YOLO — легковесность моделей, благодаря которой федеративное обучение через нестабильные соединения становится практичным. Вместо исходных данных Scaleout передает только обновление модели. Наиболее часто используемая модель, nano-версия Ultralytics YOLOv8, занимает около 10,7 МБ, поэтому полное обновление представляет собой небольшой пакет для отправки даже при ограниченной пропускной способности.
Пакет Ultralytics для Python также дает инженерам Scaleout гибкость при обучении и развертывании на разнообразном оборудовании. Компактная модель YOLOv8 nano уверенно работает на периферийных устройствах с ограниченными ресурсами, а варианты экспорта пакета поддерживают развертывание в различных средах, с которыми работает Scaleout. Поскольку модели легко подвергать тонкой настройке, команды могут быстро итерировать решения по мере изменения полевых условий.
Ultralytics YOLO помогает Scaleout быстрее обновлять модели#
С Ultralytics YOLO самая ресурсоемкая часть работы остается на устройстве. Обучение выполняется на сотнях гигабайт полевых видеозаписей, но фактически передается модель размером около 10 МБ. В результате объем передаваемых данных сокращается примерно в десять раз, что делает федеративное обучение возможным в ограниченных сетях, на которые опираются эти развертывания.
Этот подход также меняет скорость возврата улучшенной модели в полевые условия. То, что в обычном случае могло бы занять недели или месяцы — сбор данных, отправку в централизованное хранилище, переобучение и повторное развертывание, — при выполнении цикла на периферии сокращается до дней и часов.
Особенно наглядно это проявляется в работе Scaleout с дронами. Во время оборонительной разведки дрон выполняет поисковый маршрут и использует бортовую модель Ultralytics YOLO для обнаружения, идентификации и геолокации интересующих объектов в реальном времени, причем вся обработка выполняется на собственном компьютере дрона, а не передается для анализа.
По мере того как дроны собирают новые видеозаписи, эти данные поступают на Vision Ground Node, где YOLO проходит тонкую настройку на новых кадрах, после чего обновленная модель отправляется обратно — и все это без вывоза видеозаписей с объекта. Модели обнаружения должны адаптироваться к быстро меняющимся условиям и данным, которые нельзя перемещать, а локально переобученная модель остается полезной там, где статичная модель, обученная централизованно, начала бы отставать.
Рис. 1. Пример того, как Scaleout и Ultralytics YOLO обеспечивают работу AI-дронов (Источник)
Та же схема применима далеко не только к дронам. В промышленных условиях, например на энергетических объектах и удаленных предприятиях, где данные каждого объекта конфиденциальны, платформа улучшает модели обнаружения на множестве объектов, не пересекая границ ни одного из них исходными данными. Независимо от того, находятся ли данные на дроне или стационарной установке, Scaleout оставляет видеозаписи на месте и перемещает только то, чему научилась модель.
Создание адаптивного AI для сред, где данные нельзя перемещать#
По мере роста Scaleout продолжает распространять компьютерное зрение на основе федеративного обучения и периферийных вычислений на новые сценарии и оборудование. Ее готовые модули предназначены для сокращения месяцев интеграции до нескольких дней, поэтому заказчики могут использовать собственное оборудование и внедрять адаптивный цикл обучения без повторной разработки базового кода машинного обучения.
Используя Ultralytics YOLO в основе конвейера обнаружения, Scaleout делает возможными обучение и улучшение AI именно в тех средах, где традиционные подходы не справляются: данные остаются на месте, работа продолжается при сбоях сети, а парки периферийных устройств превращаются в систему, которая продолжает обучаться как единое целое.
Хочешь узнать, на что способен Vision AI? Перейди в наш репозиторий GitHub, чтобы узнать, как модели YOLO преобразуют такие области, как AI в производстве и компьютерное зрение в робототехнике. Ознакомься с нашими вариантами лицензирования и начни путь к более интеллектуальной автоматизации.
