Экспорт Ultralytics YOLO в LiteRT

В Ultralytics мы наблюдаем растущую тенденцию запуска моделей компьютерного зрения непосредственно на тех устройствах, где они необходимы, вместо того чтобы полагаться на облачное подключение. Мобильным приложениям, встраиваемым системам, IoT-датчикам и браузерным инструментам все чаще требуется локальный запуск инференса, зачастую на оборудовании с ограниченными ресурсами питания и вычислительными мощностями. Именно поэтому мы рады объявить, что модели Ultralytics YOLO теперь можно экспортировать напрямую в LiteRT.

Для удовлетворения этого спроса требуется формат модели, который работает во всех этих средах, не вынуждая разработчиков поддерживать отдельные конвейеры экспорта для каждой из них.

Ранее такая возможность существовала благодаря неофициальному стороннему пакету, но эта новая интеграция стала результатом официального сотрудничества с Google. Мы тесно взаимодействовали с командой LiteRT, чтобы создать полноценный конвейер для экспорта моделей Ultralytics YOLO в TFLite через LiteRT. Благодаря этой интеграции одна экспортированная модель Ultralytics YOLO развертывается на мобильных устройствах, встраиваемых системах, периферийных устройствах и в браузерах, объединяя форматы TFLite и TF.js, которые ранее использовались отдельно, в один оптимизированный формат.

Link to this sectionЧто такое LiteRT?#

LiteRT (сокращение от Lite Runtime) — это высокопроизводительная среда выполнения Google для ИИ на устройствах. Это следующее поколение и новое название для TensorFlow Lite (TFLite), использующее тот же формат моделей .tflite, который уже знаком разработчикам.

LiteRT — это фреймворк с открытым исходным кодом, разработанный специально для инференса на устройствах, также известного как периферийные вычисления. Он предоставляет разработчикам инструменты для выполнения обученных моделей на мобильных, встраиваемых и IoT-устройствах, традиционных компьютерах, а также, через LiteRT.js, непосредственно в веб-браузерах и Node.js. Формат экспорта LiteRT оптимизирует модели для таких задач, как обнаружение объектов, сегментация, оценка позы и классификация, чтобы они работали быстро и без подключения к сети на широком спектре устройств.

Link to this sectionЗачем экспортировать модели Ultralytics YOLO в LiteRT?#

Теперь один формат модели охватывает все цели развертывания:

• Мобильные и встраиваемые системы. Android, iOS, настольные системы, встраиваемый Linux и микроконтроллеры (MCU).

• Периферийные ускорители. Совместимость с Coral Edge TPU для дополнительного ускорения.

• Браузеры и Node.js. LiteRT.js запускает ту же модель .tflite в вебе с ускорением WebGPU/WASM, избавляя от необходимости в отдельном экспорте TensorFlow.js.

• Настольные системы

Эта консолидация важна, поскольку она устраняет реальную сложность при развертывании в продакшене. Вместо того чтобы поддерживать один конвейер экспорта для мобильных устройств, другой для браузера, а третий для периферийных ускорителей, команды теперь могут выполнить экспорт один раз и развертывать везде, где работает LiteRT.

Link to this sectionКлючевые особенности моделей LiteRT#

• Оптимизация на устройстве. Снижает задержку за счет локальной обработки данных, повышает конфиденциальность, исключая передачу персональных данных, и минимизирует размер модели для экономии места.

• Поддержка нескольких платформ. Работает на Android, iOS, встраиваемом Linux, микроконтроллерах и современных веб-браузерах.

• Аппаратное ускорение. Использует XNNPACK на CPU, а также ускорение GPU через OpenCL, Metal и WebGPU. Ускорение GPU по умолчанию работает в формате FP16 для дополнительного быстродействия.

• Квантование. Поддерживает FP32, статическое INT8, статическое INT16-activation и динамическое INT8 для сжатия моделей и ускорения инференса с минимальной потерей точности.

• Поддержка различных языков. Совместимость с Java/Kotlin, Swift, Objective-C, C++, Python и JavaScript.

Link to this sectionНачало работы с экспортом в LiteRT#

Python-пакет Ultralytics и Ultralytics Platform предоставляют полноценную унифицированную среду для обучения, оценки и развертывания моделей YOLO для всех пяти задач компьютерного зрения. Формат экспорта LiteRT поддерживает режимы Export, Predict и Validate, поэтому модель можно экспортировать, а затем сразу использовать локально для инференса или проверки точности.

Для экспорта модели требуется всего одна команда:

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

Для команд, развертывающих модели на оборудовании с ограниченными ресурсами, LiteRT также поддерживает квантованный экспорт, позволяя сжимать модели для более быстрого инференса с минимальной потерей точности:

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

После экспорта модель можно загрузить и запустить для инференса напрямую:

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

Экспорт в LiteRT в настоящее время поддерживается на Linux x86_64 и macOS. Сама экспортированная модель .tflite работает на любой платформе, поддерживающей LiteRT, включая мобильные устройства, встраиваемые системы, периферийное оборудование и браузеры.

Рис. 1. Сравнение производительности между ONNX и LiteRT.

На изображении выше представлено сравнение среднего времени инференса для задач обнаружения, сегментации и оценки позы на YOLO26n, запущенной в браузере через @ultralytics/yolo, npm-пакет от Ultralytics для клиентского инференса на WebGPU/WASM через ONNX Runtime Web. Тестирование проводилось на Apple MacBook Pro 2024 года (Apple Silicon M4) в контролируемой браузерной среде.

Link to this sectionПеренос Ultralytics YOLO на периферийные устройства#

Благодаря LiteRT для развертывания моделей Ultralytics YOLO на мобильных, встраиваемых, периферийных устройствах и в браузере больше не требуются отдельные конвейеры экспорта для каждой цели. Один экспорт, один формат модели и единый путь от обучения до продакшена — везде, где требуется инференс.

Интересуешься ИИ в компьютерном зрении? Ознакомься с нашими вариантами лицензирования, чтобы внедрить компьютерное зрение в свои проекты. Посети наш репозиторий на GitHub, чтобы изучить все возможности интеграции экспорта Ultralytics, и загляни на Ultralytics Platform, чтобы начать создавать свои собственные комплексные рабочие процессы в области ИИ для визуальных задач.