Exportar Ultralytics YOLO a LiteRT

En Ultralytics, estamos viendo un cambio creciente hacia la ejecución de computer vision models directamente en los dispositivos donde se necesitan, en lugar de depender de una conexión a la nube. Las aplicaciones móviles, los sistemas empotrados, los sensores IoT y las herramientas basadas en navegador necesitan cada vez más ejecutar inferencias de forma local, a menudo en hardware con presupuestos estrictos de energía y computación.Por eso nos emociona anunciar que los modelos de Ultralytics YOLO ahora se pueden exportar directamente a LiteRT.

Satisfacer esa demanda requiere un formato de modelo que funcione en todos estos entornos sin obligar a los desarrolladores a mantener canales de exportación separados para cada uno.

Esta capacidad existía anteriormente a través de un paquete de terceros no oficial, pero esta nueva integración es el resultado de una colaboración oficial con Google. Trabajamos en estrecha colaboración con el equipo de LiteRT para crear un flujo de trabajo integral para exportar modelos Ultralytics YOLO a TFLite a través de LiteRT. Con esta integración, un solo modelo Ultralytics YOLO exportado se despliega en entornos móviles, integrados, de borde y de navegador, unificando lo que los formatos de exportación TFLite y TF.js antiguos manejaban por separado en un formato optimizado.

¿Qué es LiteRT?#

LiteRT (abreviatura de Lite Runtime) es el entorno de ejecución de alto rendimiento de Google para IA en el dispositivo. Es la próxima generación y el nuevo nombre de TensorFlow Lite (TFLite), y ejecuta el mismo formato de modelo .tflite que los desarrolladores ya conocen.

LiteRT es un framework de código abierto diseñado específicamente para la inferencia en el dispositivo, también conocida como edge computing. Ofrece a los desarrolladores las herramientas para ejecutar modelos entrenados en dispositivos móviles, empotrados e IoT, ordenadores tradicionales y, a través de LiteRT.js, directamente en navegadores web y Node.js. El formato de exportación de LiteRT optimiza los modelos para tareas como object detection, segmentation, pose estimation y classification para que funcionen rápido y sin conexión en una amplia gama de dispositivos.

¿Por qué exportar modelos Ultralytics YOLO a LiteRT?#

Un formato de modelo ahora cubre cada objetivo de despliegue:

• Móvil e integrado. Android, iOS, escritorio, Linux integrado y microcontroladores (MCUs).

• Aceleradores de borde. Compatible con Coral Edge TPU para una mayor aceleración.

• Navegador y Node.js. LiteRT.js ejecuta el mismo modelo .tflite en la web con aceleración WebGPU/WASM, reemplazando la necesidad de una exportación de TensorFlow.js por separado.

• Escritorio

Esta consolidación es importante porque elimina una fuente real de fricción en los despliegues de producción. En lugar de mantener un canal de exportación para móvil, otro para el navegador y un tercero para aceleradores de borde, los equipos ahora pueden exportar una vez y desplegar donde sea que LiteRT se ejecute.

Características clave de los modelos LiteRT#

• Optimización en el dispositivo. Reduce la latencia al procesar datos localmente, mejora la privacidad al no transmitir datos personales y minimiza el tamaño del modelo para ahorrar espacio.

• Soporte para múltiples plataformas. Se ejecuta en Android, iOS, Linux integrado, microcontroladores y navegadores web modernos.

• Aceleración de hardware. Aprovecha XNNPACK en CPU y aceleración de GPU a través de OpenCL, Metal y WebGPU. La aceleración de GPU se ejecuta en FP16 de forma predeterminada para mayor velocidad.

• Cuantización. Admite FP32, INT8 estático, INT16-activación estático y INT8 dinámico para comprimir modelos y acelerar la inferencia con una pérdida mínima de precisión.

• Soporte diverso de lenguajes. Compatible con Java/Kotlin, Swift, Objective-C, C++, Python y JavaScript.

Primeros pasos con la exportación LiteRT#

El Ultralytics Python package y Ultralytics Platform proporcionan un entorno completo y unificado para entrenar, evaluar y desplegar modelos YOLO en las cinco tareas de computer vision. El formato de exportación de LiteRT es compatible con los modos Export, Predict y Validate, por lo que un modelo se puede exportar y luego utilizar inmediatamente para la inferencia o la validación de precisión de forma local.

Exportar un modelo requiere un solo comando:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Para los equipos que realizan despliegues en hardware con restricciones, LiteRT también admite la exportación cuantizada, lo que permite comprimir los modelos para una inferencia más rápida con una pérdida mínima de precisión:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Una vez exportado, el modelo puede cargarse y ejecutarse para inferencia directamente:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

La exportación LiteRT es actualmente compatible con Linux x86_64 y macOS. El modelo .tflite exportado en sí mismo se ejecuta en todas las plataformas compatibles con LiteRT, incluyendo dispositivos móviles, sistemas integrados, borde y navegador.

Fig 1. Comparativa de rendimiento entre ONNX y LiteRT.

La imagen de arriba muestra una comparativa del tiempo medio de inferencia para la detección, segmentación y estimación de postura en YOLO26n, ejecutándose en el navegador mediante @ultralytics/yolo, el paquete npm de Ultralytics para la inferencia en el lado del cliente en WebGPU/WASM a través de ONNX Runtime Web. Evaluado en un Apple MacBook Pro 2024 (Apple Silicon M4) en un entorno de navegador controlado.

Llevando Ultralytics YOLO al borde#

Con LiteRT, desplegar modelos Ultralytics YOLO en entornos móviles, integrados, de borde y de navegador ya no requiere canales de exportación separados para cada destino. Una sola exportación, un formato de modelo y un camino consistente desde el entrenamiento hasta la producción, donde sea que necesite ocurrir la inferencia.

¿Tienes curiosidad por la visión artificial? Descubre nuestras licensing options para llevar computer vision a tus proyectos. Visita nuestro GitHub repository para explorar toda la gama de integraciones de exportación de Ultralytics, y consulta Ultralytics Platform para empezar a construir tus propios flujos de trabajo de visión artificial de extremo a extremo.