Exportando Ultralytics YOLO no LiteRT

Na Ultralytics, estamos a ver uma mudança crescente para a execução de computer vision models diretamente nos dispositivos onde são necessários, em vez de depender de uma ligação à cloud. Aplicações móveis, sistemas embebidos, sensores IoT e ferramentas baseadas no browser precisam cada vez mais de executar a inferência localmente, muitas vezes em hardware com restrições de energia e computação. É por isso que estamos entusiasmados por anunciar que os modelos Ultralytics YOLO podem agora ser exportados diretamente para LiteRT.

Atender a essa demanda exige um formato de modelo que funcione em todos esses ambientes sem forçar os desenvolvedores a manter pipelines de exportação separados para cada um.

Essa capacidade já existia anteriormente por meio de um pacote de terceiros não oficial, mas esta nova integração é o resultado de uma colaboração oficial com o Google. Trabalhamos em estreita colaboração com a equipe do LiteRT para criar um pipeline de ponta a ponta para exportar modelos Ultralytics YOLO para TFLite via LiteRT. Com essa integração, um único modelo Ultralytics YOLO exportado é implantado em ambientes móveis, embarcados, edge e de navegador, unificando o que os formatos de exportação TFLite e TF.js mais antigos tratavam separadamente em um formato otimizado.

O que é LiteRT?#

LiteRT (abreviatura de Lite Runtime) é o runtime de alto desempenho da Google para IA no dispositivo. É a próxima geração e o novo nome do TensorFlow Lite (TFLite), e executa o mesmo formato de modelo .tflite que os programadores já conhecem.

O LiteRT é um framework open-source concebido especificamente para inferência no dispositivo, também conhecido como edge computing. Dá aos programadores as ferramentas para executar modelos treinados em dispositivos móveis, embebidos e IoT, computadores tradicionais e, através do LiteRT.js, diretamente em browsers e Node.js. O formato de exportação LiteRT otimiza modelos para tarefas como object detection, segmentation, pose estimation e classification para que executem rapidamente e offline numa ampla gama de dispositivos.

Por que exportar modelos Ultralytics YOLO para LiteRT?#

Um único formato de modelo agora cobre todos os destinos de implantação:

• Mobile & embarcados. Android, iOS, Desktop, Linux embarcado e microcontroladores (MCUs).

• Aceleradores Edge. Compatível com o Coral Edge TPU para maior aceleração.

• Navegador & Node.js. O LiteRT.js executa o mesmo modelo .tflite na web com aceleração WebGPU/WASM, substituindo a necessidade de uma exportação TensorFlow.js separada.

• Desktop

Essa consolidação é importante porque remove uma fonte real de atrito em implantações de produção. Em vez de manter um pipeline de exportação para mobile, outro para o navegador e um terceiro para aceleradores edge, as equipes agora podem exportar uma vez e implantar onde quer que o LiteRT funcione.

Principais recursos dos modelos LiteRT#

• Otimização on-device. Reduz a latência ao processar dados localmente, aumenta a privacidade ao não transmitir dados pessoais e minimiza o tamanho do modelo para economizar espaço.

• Suporte multiplataforma. Funciona em Android, iOS, Linux embarcado, microcontroladores e navegadores da web modernos.

• Aceleração de hardware. Aproveita o XNNPACK na CPU e aceleração de GPU via OpenCL, Metal e WebGPU. A aceleração de GPU roda em FP16 por padrão para maior velocidade.

• Quantização. Suporta FP32, INT8 estático, ativação INT16 estática e INT8 dinâmico para comprimir modelos e acelerar a inferência com perda mínima de precisão.

• Suporte a diversas linguagens. Compatível com Java/Kotlin, Swift, Objective-C, C++, Python e JavaScript.

Começando com a exportação LiteRT#

O Ultralytics Python package e a Ultralytics Platform fornecem um ambiente completo e unificado para treinar, avaliar e implementar modelos YOLO em todas as cinco tarefas de visão computacional. O formato de exportação LiteRT suporta os modos Export, Predict e Validate, para que um modelo possa ser exportado e imediatamente utilizado para inferência ou validação de precisão localmente.

Exportar um modelo leva apenas um comando:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Para equipes que implantam em hardware restrito, o LiteRT também suporta exportação quantizada, permitindo que os modelos sejam compactados para uma inferência mais rápida com perda mínima de precisão:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Uma vez exportado, o modelo pode ser carregado e executado para inferência diretamente:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

A exportação LiteRT é atualmente suportada no Linux x86_64 e macOS. O modelo .tflite exportado por si só funciona em todas as plataformas suportadas pelo LiteRT, incluindo mobile, embarcados, edge e o navegador.

Fig 1. Comparação de desempenho entre ONNX e LiteRT.

A imagem acima apresenta uma comparação do tempo médio de inferência para deteção, segmentação e estimativa de pose no YOLO26n, executado no browser através de @ultralytics/yolo, o pacote npm da Ultralytics para inferência no lado do cliente em WebGPU/WASM através do ONNX Runtime Web. Testado num Apple MacBook Pro de 2024 (Apple Silicon M4) num ambiente de browser controlado.

Levando o Ultralytics YOLO para o edge#

Com o LiteRT, implantar modelos Ultralytics YOLO em ambientes mobile, embarcados, edge e navegador não exige mais pipelines de exportação separados para cada alvo. Uma exportação, um formato de modelo e um caminho consistente do treinamento à produção, onde quer que a inferência precise acontecer.

Curioso sobre visão por IA? Descobre as nossas licensing options para trazer visão computacional para os teus projetos. Visita o nosso GitHub repository para explorar toda a gama de integrações de exportação da Ultralytics e consulta a Ultralytics Platform para começares a criar os teus próprios fluxos de trabalho de IA de visão de ponta a ponta.