Экспорт Ultralytics YOLO в LiteRT

В Ultralytics мы наблюдаем растущий переход к запуску моделей компьютерного зрения непосредственно на устройствах, где они нужны, вместо зависимости от подключения к облаку. Мобильным приложениям, встроенным системам, датчикам IoT и браузерным инструментам всё чаще требуется выполнять инференс локально — зачастую на оборудовании с жёсткими ограничениями по энергопотреблению и вычислительным ресурсам. Поэтому мы рады сообщить, что модели Ultralytics YOLO теперь можно напрямую экспортировать в LiteRT.

Чтобы удовлетворить этот спрос, нужен формат модели, который работает во всех этих средах и не заставляет разработчиков поддерживать отдельные конвейеры экспорта для каждой из них.

Такая возможность уже существовала благодаря неофициальному стороннему пакету, но новая интеграция стала результатом официального сотрудничества с Google. Вместе с командой LiteRT мы создали сквозной конвейер для экспорта моделей Ultralytics YOLO в TFLite через LiteRT. Благодаря этой интеграции одну экспортированную модель Ultralytics YOLO можно развернуть на мобильных, встроенных и периферийных устройствах, а также в браузере. Это объединяет в одном оптимизированном формате возможности, которые раньше обеспечивали отдельные форматы экспорта TFLite и TF.js.

Что такое LiteRT?#

LiteRT (сокращение от Lite Runtime) — это высокопроизводительная среда Google для выполнения ИИ-моделей непосредственно на устройстве. Это новое поколение TensorFlow Lite (TFLite) под новым названием, использующее тот же формат моделей .tflite, который уже знаком разработчикам.

LiteRT — это фреймворк с открытым исходным кодом, специально разработанный для инференса непосредственно на устройстве, также известного как периферийные вычисления. Он предоставляет разработчикам инструменты для запуска обученных моделей на мобильных, встроенных и IoT-устройствах, обычных компьютерах, а также, благодаря LiteRT.js, непосредственно в веб-браузерах и Node.js. Формат экспорта LiteRT оптимизирует модели для таких задач, как обнаружение объектов, сегментация, оценка позы и классификация, чтобы они быстро работали без подключения к сети на самых разных устройствах.

Зачем экспортировать модели Ultralytics YOLO в LiteRT?#

Теперь один формат модели поддерживает все целевые платформы развёртывания:

• Мобильные и встроенные устройства. Android, iOS, настольные компьютеры, встроенный Linux и микроконтроллеры (MCU).

• Периферийные ускорители. Совместимость с Coral Edge TPU для дополнительного ускорения.

• Браузер и Node.js. LiteRT.js запускает ту же модель .tflite в интернете с ускорением WebGPU/WASM, устраняя необходимость в отдельном экспорте TensorFlow.js.

• Настольные компьютеры

Такая консолидация важна, поскольку устраняет реальную причину сложностей при развёртывании в производственной среде. Вместо того чтобы поддерживать один конвейер экспорта для мобильных устройств, другой для браузера и третий для периферийных ускорителей, команды теперь могут выполнить экспорт один раз и развернуть модель везде, где работает LiteRT.

Основные возможности моделей LiteRT#

• Оптимизация для работы непосредственно на устройстве. Снижает задержку за счёт локальной обработки данных, повышает конфиденциальность, не передавая персональные данные, и уменьшает размер модели, экономя место.

• Поддержка нескольких платформ. Работает на Android, iOS, встроенном Linux, микроконтроллерах и современных веб-браузерах.

• Аппаратное ускорение. Использует XNNPACK на CPU и ускорение на GPU через OpenCL, Metal и WebGPU. По умолчанию ускорение на GPU работает в FP16, что обеспечивает дополнительное быстродействие.

• Квантование. Поддерживает FP32, статический INT8, статический INT16-activation и динамический INT8, позволяя сжимать модели и ускорять инференс с минимальной потерей точности.

• Поддержка разных языков программирования. Совместим с Java/Kotlin, Swift, Objective-C, C++, Python и JavaScript.

Начало работы с экспортом в LiteRT#

Пакет Ultralytics Python и платформа Ultralytics предоставляют полноценную единую среду для обучения, оценки и развёртывания моделей YOLO во всех пяти задачах компьютерного зрения. Формат экспорта LiteRT поддерживает режимы экспорта, предсказания и валидации, поэтому модель можно экспортировать и сразу использовать для локального инференса или проверки точности.

Для экспорта модели достаточно одной команды:

from ultralytics import YOLO

# Загрузи модель YOLO26
model = YOLO("yolo26n.pt")

# Экспортировать модель в формат LiteRT
model.export(format="litert") # Создаёт 'yolo26n.tflite'

Для команд, развёртывающих модели на устройствах с ограниченными ресурсами, LiteRT также поддерживает экспорт с квантованием. Это позволяет сжимать модели и ускорять инференс с минимальной потерей точности:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Динамический INT8: веса int8, активации FP32 — калибровочные данные не нужны
model.export(format="litert", quantize="w8a32")

# Статический INT8: веса int8 + активации int8 — нужны калибровочные данные
model.export(format="litert", quantize=8, data="coco8.yaml")

После экспорта модель можно загрузить и сразу запускать для инференса:

from ultralytics import YOLO

# Загрузить экспортированную модель LiteRT
model = YOLO("yolo26n.tflite")

# Запусти инференс
results = model("https://ultralytics.com/images/bus.jpg")

Экспорт в LiteRT сейчас поддерживается в Linux x86_64 и macOS. Сама экспортированная модель .tflite работает на всех платформах, поддерживаемых LiteRT, включая мобильные и встроенные устройства, периферийные системы и браузеры.

Рис. 1. Сравнение производительности ONNX и LiteRT.

На изображении выше сравнивается среднее время инференса для обнаружения объектов, сегментации и оценки позы на YOLO26n, работающей в браузере через @ultralytics/yolo — npm-пакет Ultralytics для инференса на стороне клиента с использованием WebGPU/WASM через ONNX Runtime Web. Тестирование проводилось в контролируемой среде браузера на Apple MacBook Pro 2024 года (Apple Silicon M4).

Ultralytics YOLO на периферийных устройствах#

С LiteRT для развёртывания моделей Ultralytics YOLO на мобильных и встроенных устройствах, периферийных системах и в браузерах больше не нужны отдельные конвейеры экспорта для каждой платформы. Один экспорт, один формат модели и единый путь от обучения до производства — где бы ни выполнялся инференс.

Интересуешься ИИ для компьютерного зрения? Ознакомься с нашими вариантами лицензирования, чтобы внедрить компьютерное зрение в свои проекты. Посети наш репозиторий GitHub, чтобы изучить все интеграции экспорта Ultralytics, и загляни на платформу Ultralytics, чтобы начать создавать собственные сквозные рабочие процессы для ИИ компьютерного зрения.