Дообучая модели Ultralytics YOLO на периферийных устройствах, Scaleout оставляет данные на месте, работает без подключения к сети и выпускает новые модели обнаружения за часы, а не за недели.
Обучение моделей машинного обучения обычно предполагает, что все данные можно собрать в одном месте, отправить в облако и развернуть готовую модель. Во многих реальных сценариях это невозможно. В сферах обороны, промышленности и регулируемых отраслях данные привязаны к месту хранения законами о конфиденциальности, уровнем секретности или высокой стоимостью передачи. Кроме того, на сеть, связывающую эти точки, не всегда можно положиться.
Scaleout создает инфраструктуру именно для таких условий. Ее платформа Scaleout Edge использует федеративное обучение, чтобы обучать модели там, где находятся данные, а не перемещать данные к модели. Для проектов в области компьютерного зрения Scaleout обучает модели по индивидуальному заказу и дообучает модели Ultralytics YOLO на Vision Ground Nodes — периферийных станциях с GPU-ускорением, развернутых на каждом объекте, чтобы качество детекции в реальных условиях продолжало улучшаться, а конфиденциальные изображения никогда не покидали устройство.
Машинное обучение там, где хранятся данные#
Основанная в 2018 году исследователями из Уппсальского университета, работавшими над крупномасштабными распределёнными системами, компания Scaleout поставила цель сделать машинное обучение возможным там, где данные нельзя централизовать. Компания сосредоточилась на сценариях, в которых собрать данные в одном месте сложно или невозможно, а ключевым механизмом решения стало федеративное обучение.
Федеративное обучение распределяет обучение между множеством устройств, а затем собирает обновления их моделей в единую управляющую плоскость, которая объединяет их в новую глобальную модель. Каждое устройство учитывает особенности своей локальной среды, а весь парк устройств получает преимущества коллективного интеллекта. Данные остаются на месте, а передаются только результаты обучения модели.
Scaleout работает в сферах обороны, промышленности, транспорта и других регулируемых отраслях. Среди проектов компании — участие в акселерационной программе NATO DIANA и сотрудничество с BAE Systems. Во всех этих проектах задача одна и та же: данные нельзя перемещать, но модели всё равно нужно совершенствовать.
Сложности машинного обучения на периферии#
Рассмотрим подробнее ограничения, с которыми Scaleout столкнулась при обучении моделей в полевых условиях:
- Ограниченные вычислительные ресурсы: в полевых условиях нет серверов центра обработки данных — только небольшие устройства с низким энергопотреблением, например компьютер на дроне. Запустить на них готовую модель можно, но её дообучение требует гораздо больше вычислительных ресурсов.
- Данные не покидают устройство: видеозаписи, необходимые для дообучения, часто являются собственностью организации, и их нельзя отправлять на центральный сервер. Поэтому модель должна обучаться на данных, которые никогда не покидают периферийное устройство.
- На месте нет специалистов: операторы, собирающие данные в полевых условиях, редко бывают специалистами по машинному обучению, поэтому дообучение не должно зависеть от присутствия экспертов по анализу данных.
- Постоянно меняющиеся условия: обстановка в полевых условиях быстро меняется, поэтому модель нужно обновлять непрерывно, а не дообучать с большими перерывами по плану.
Дообучение моделей Ultralytics YOLO на периферийных устройствах#
Чтобы работать в рамках этих ограничений, Scaleout создала цикл обучения, который полностью выполняется в полевых условиях и в центре которого находятся модели Ultralytics YOLO.
На каждом объекте рядом с парком дронов установлена Vision Ground Node — периферийная станция с GPU-ускорением, собственными вычислительными ресурсами и хранилищем. Дроны снимают видео, узел выбирает наиболее полезные кадры, оператор размечает их, а модель YOLO дообучается на локальном оборудовании.
После нескольких эпох обучения на управляющую плоскость отправляется только обновлённая модель, но не исходные видеозаписи. Этот цикл реализован с помощью модуля компьютерного зрения Scaleout — расширения платформы Scaleout Edge, которое объединяет в одном пакете инструменты, необходимые для проекта компьютерного зрения.
Модуль объединяет отбор кадров, аннотирование, обучение и развёртывание, а Ultralytics YOLO отвечает за обнаружение объектов. Благодаря этому команды могут использовать уже готовую основу, а не собирать все компоненты самостоятельно.
Впервые Scaleout применила этот подход в акселерационной программе NATO DIANA, используя YOLOv8 для дообучения модели обнаружения на данных, собранных в полевых условиях. По соображениям конфиденциальности эти данные нельзя было передавать по полевым сетям или централизовать, поэтому команда перешла к децентрализованному дообучению, позволяя модели локально учиться на новых примерах.
Этот цикл рассчитан на операторов, а не на специалистов по анализу данных. Система помогает неспециалисту просматривать и размечать важные кадры, чтобы сотрудники на местах могли самостоятельно совершенствовать модель.
Это отражено и в используемых инструментах: версия Label Studio с открытым исходным кодом для аннотирования, сервер потоковой передачи для приёма видеопотоков с дронов и пакет Ultralytics Python для дообучения. Всё это работает на оборудовании от модулей NVIDIA Jetson до защищённых полевых устройств и ноутбуков — в зависимости от способа развёртывания.
Почему стоит выбрать модели Ultralytics YOLO?#
Для Scaleout главное преимущество Ultralytics YOLO — компактность моделей, благодаря которой федеративное обучение возможно даже при плохом соединении. Вместо передачи исходных данных Scaleout передает только обновление модели. Чаще всего компания использует Ultralytics YOLOv8 nano размером около 10,7 МБ, поэтому для отправки полного обновления достаточно небольшого пакета даже при ограниченной пропускной способности.
Пакет Ultralytics Python также даёт инженерам Scaleout гибкость при обучении и развёртывании на разном оборудовании. Компактная нано-модель YOLOv8 легко работает на периферийных устройствах с ограниченными ресурсами, а варианты экспорта из пакета поддерживают развёртывание в разных средах, с которыми работает Scaleout. Поскольку модели легко дообучать, команды могут быстро вносить изменения при перемене условий в полевых условиях.
Ultralytics YOLO помогает Scaleout быстрее обновлять модели#
При работе с Ultralytics YOLO основная вычислительная нагрузка остаётся на устройстве. Модель обучается на сотнях гигабайт записей с мест эксплуатации, но передаётся только сама модель размером около 10 МБ. Это значительно сокращает объём передаваемых данных и делает федеративное обучение возможным в условиях ограниченной пропускной способности сетей, на которые опираются такие системы.
Этот подход также ускоряет возвращение улучшенной модели в полевые условия. Процесс, который в обычном случае мог бы занимать недели или месяцы — сбор данных, их доставка в центральное хранилище, переобучение и повторное развёртывание, — сокращается до дней и часов, когда цикл выполняется на периферии.
Наиболее наглядно это видно на примере работы Scaleout с дронами. Во время разведки для оборонных задач дрон летит по заданному маршруту поиска и с помощью установленной на борту модели Ultralytics YOLO в реальном времени обнаруживает, распознаёт и определяет географическое положение интересующих объектов. Вся обработка выполняется на собственном бортовом компьютере дрона, а не на внешнем устройстве для анализа.
По мере того как дроны собирают новые видеозаписи, данные поступают на Vision Ground Node, где YOLO дообучается на новых кадрах. Затем обновлённая модель отправляется обратно — и всё это без передачи видеозаписей за пределы объекта. Модели обнаружения должны адаптироваться к быстро меняющимся условиям и данным, которые нельзя перемещать. Модель, дообученная локально, остаётся полезной там, где статичная модель с централизованным обучением быстро устарела бы.
Рис. 1. Пример того, как Scaleout и Ultralytics YOLO обеспечивают работу дронов с ИИ (источник).
Тот же подход применим далеко за пределами дронов. В промышленности — например, на энергетических объектах и удалённых площадках, где данные каждого объекта конфиденциальны, — платформа улучшает модели обнаружения сразу на многих площадках, не допуская передачи исходных данных за пределы предприятия. Неважно, хранятся ли данные на дроне или на стационарной установке: Scaleout сохраняет видеозаписи на месте и передаёт только результаты обучения модели.
Адаптивный ИИ для сред, где данные нельзя перемещать#
По мере роста Scaleout продолжает расширять применение компьютерного зрения на периферии с федеративным обучением и внедрять его в новые среды и на новое оборудование. Готовые модули компании сокращают месяцы интеграции до нескольких дней: клиенты могут использовать собственное оборудование и внедрять цикл адаптивного обучения, не переписывая базовый код машинного обучения.
Используя Ultralytics YOLO в основе конвейера обнаружения, Scaleout делает возможным обучение и совершенствование ИИ именно в тех средах, где традиционные подходы не работают: данные остаются на месте, система продолжает работать при сбоях сети, а парк периферийных устройств превращается в систему, которая учится как единое целое.
Хочешь узнать, что может дать тебе Vision AI? Загляни в наш репозиторий GitHub и узнай, как модели YOLO меняют такие сферы, как ИИ в производстве и компьютерное зрение в робототехнике. Ознакомься с нашими вариантами лицензирования и начни путь к более интеллектуальной автоматизации.
Автор
Менеджер по цифровому контенту · Ultralytics
