Exportar Ultralytics YOLO a LiteRT

En Ultralytics, observamos un cambio creciente hacia la ejecución de modelos de visión artificial directamente en los dispositivos donde se necesitan, en lugar de depender de una conexión a la nube. Las aplicaciones móviles, los sistemas integrados, los sensores IoT y las herramientas basadas en navegador requieren cada vez más ejecutar inferencias localmente, a menudo en hardware con presupuestos de energía y computación ajustados. Por eso, nos complace anunciar que los modelos Ultralytics YOLO ahora se pueden exportar directamente a LiteRT.

Satisfacer esa demanda requiere un formato de modelo que funcione en todos estos entornos sin obligar a los desarrolladores a mantener canales de exportación separados para cada uno.

Esta capacidad existía anteriormente a través de un paquete de terceros no oficial, pero esta nueva integración es el resultado de una colaboración oficial con Google. Trabajamos en estrecha colaboración con el equipo de LiteRT para crear un flujo de trabajo integral para exportar modelos Ultralytics YOLO a TFLite a través de LiteRT. Con esta integración, un solo modelo Ultralytics YOLO exportado se despliega en entornos móviles, integrados, de borde y de navegador, unificando lo que los formatos de exportación TFLite y TF.js antiguos manejaban por separado en un formato optimizado.

Link to this section¿Qué es LiteRT?#

LiteRT (abreviatura de Lite Runtime) es el entorno de ejecución de alto rendimiento de Google para IA en el dispositivo. Es la próxima generación y el nuevo nombre para TensorFlow Lite (TFLite), y ejecuta el mismo formato de modelo .tflite que los desarrolladores ya conocen.

LiteRT es un marco de código abierto diseñado específicamente para inferencia en el dispositivo, también conocido como edge computing. Proporciona a los desarrolladores las herramientas para ejecutar modelos entrenados en dispositivos móviles, integrados e IoT, computadoras tradicionales y, a través de LiteRT.js, directamente en navegadores web y Node.js. El formato de exportación LiteRT optimiza los modelos para tareas como detección de objetos, segmentación, estimación de pose y clasificación para que se ejecuten rápidamente y sin conexión en una amplia gama de dispositivos.

Link to this section¿Por qué exportar modelos Ultralytics YOLO a LiteRT?#

Un formato de modelo ahora cubre cada objetivo de despliegue:

• Móvil e integrado. Android, iOS, escritorio, Linux integrado y microcontroladores (MCUs).

• Aceleradores de borde. Compatible con el Coral Edge TPU para una mayor aceleración.

• Navegador y Node.js. LiteRT.js ejecuta el mismo modelo .tflite en la web con aceleración WebGPU/WASM, reemplazando la necesidad de una exportación de TensorFlow.js por separado.

• Escritorio

Esta consolidación es importante porque elimina una fuente real de fricción en los despliegues de producción. En lugar de mantener un canal de exportación para móvil, otro para el navegador y un tercero para aceleradores de borde, los equipos ahora pueden exportar una vez y desplegar donde sea que LiteRT se ejecute.

Link to this sectionCaracterísticas clave de los modelos LiteRT#

• Optimización en el dispositivo. Reduce la latencia al procesar datos localmente, mejora la privacidad al no transmitir datos personales y minimiza el tamaño del modelo para ahorrar espacio.

• Soporte para múltiples plataformas. Se ejecuta en Android, iOS, Linux integrado, microcontroladores y navegadores web modernos.

• Aceleración de hardware. Aprovecha XNNPACK en CPU y aceleración de GPU a través de OpenCL, Metal y WebGPU. La aceleración de GPU se ejecuta en FP16 de forma predeterminada para mayor velocidad.

• Cuantización. Admite FP32, INT8 estático, INT16-activación estático y INT8 dinámico para comprimir modelos y acelerar la inferencia con una pérdida mínima de precisión.

• Soporte diverso de lenguajes. Compatible con Java/Kotlin, Swift, Objective-C, C++, Python y JavaScript.

Link to this sectionPrimeros pasos con la exportación LiteRT#

El paquete Python de Ultralytics y la plataforma Ultralytics proporcionan un entorno completo y unificado para entrenar, evaluar y desplegar modelos YOLO en las cinco tareas de visión artificial. El formato de exportación LiteRT admite los modos Export, Predict y Validate, por lo que un modelo puede exportarse y utilizarse inmediatamente para inferencia o validación de precisión localmente.

Exportar un modelo requiere un solo comando:

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

Para los equipos que realizan despliegues en hardware con restricciones, LiteRT también admite la exportación cuantizada, lo que permite comprimir los modelos para una inferencia más rápida con una pérdida mínima de precisión:

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Una vez exportado, el modelo puede cargarse y ejecutarse para inferencia directamente:

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

La exportación LiteRT es actualmente compatible con Linux x86_64 y macOS. El modelo .tflite exportado en sí mismo se ejecuta en todas las plataformas compatibles con LiteRT, incluyendo dispositivos móviles, sistemas integrados, borde y navegador.

Fig 1. Comparación de rendimiento entre ONNX y LiteRT.

La imagen superior presenta una comparación del tiempo medio de inferencia para detección, segmentación y estimación de pose en YOLO26n, ejecutándose en el navegador a través de @ultralytics/yolo, el paquete npm de Ultralytics para inferencia del lado del cliente en WebGPU/WASM mediante ONNX Runtime Web. Evaluado en un Apple MacBook Pro 2024 (Apple Silicon M4) en un entorno de navegador controlado.

Link to this sectionLlevando Ultralytics YOLO al borde#

Con LiteRT, desplegar modelos Ultralytics YOLO en entornos móviles, integrados, de borde y de navegador ya no requiere canales de exportación separados para cada destino. Una sola exportación, un formato de modelo y un camino consistente desde el entrenamiento hasta la producción, donde sea que necesite ocurrir la inferencia.

¿Tienes curiosidad sobre la IA de visión? Descubre nuestras opciones de licencia para llevar la visión artificial a tus proyectos. Visita nuestro repositorio de GitHub para explorar la gama completa de integraciones de exportación de Ultralytics y consulta la plataforma Ultralytics para comenzar a crear tus propios flujos de trabajo de IA de visión de extremo a extremo.