Llevando Ultralytics YOLO11 a dispositivos Apple mediante CoreML

Con Apple introduciendo funciones como Apple Intelligence, está claro que la IA en el dispositivo se está convirtiendo en una parte central de cómo usamos nuestros teléfonos. Para los desarrolladores, este cambio significa que los usuarios están adoptando aplicaciones de iOS que utilizan capacidades como computer vision para ofrecer experiencias más inteligentes y con mayor capacidad de respuesta.

La computer vision es un tipo de inteligencia artificial (AI) que permite a las computadoras comprender y analizar información visual, como imágenes o vídeos. En dispositivos móviles, se puede utilizar en tiempo real para detectar, clasificar e interactuar con objetos a través de la cámara del teléfono. Los modelos de Vision AI como Ultralytics YOLO11 se pueden entrenar a medida para reconocer objetos específicos, según las necesidades de tu aplicación.

Sin embargo, Ultralytics YOLO11 no está configurado para ejecutarse en iOS de inmediato. Para desplegar YOLO11 en iPhones u otros dispositivos Apple, especialmente para uso sin conexión, es necesario convertirlo a un formato optimizado para el ecosistema de Apple.

Este es exactamente el tipo de problema para el que se creó CoreML. CoreML es el marco de aprendizaje automático de Apple, diseñado para ejecutar modelos de forma local e integrarse sin problemas en aplicaciones de iOS y macOS. La integración de CoreML, respaldada por Ultralytics, facilita la exportación de tu modelo para su implementación local en iPhones.

En este artículo, analizaremos más de cerca cómo exportar tu modelo Ultralytics YOLO11 al formato CoreML. También exploraremos casos de uso en tiempo real que muestran las ventajas de ejecutar modelos de visión artificial directamente en dispositivos iOS. ¡Comencemos!

¿Qué es CoreML?#

CoreML es un marco de aprendizaje automático (ML) desarrollado por Apple que permite a los desarrolladores integrar modelos de ML entrenados directamente en aplicaciones de todo el ecosistema de Apple, incluidos iOS (iPhone y iPad), macOS (Mac), watchOS (Apple Watch) y tvOS (Apple TV). Está diseñado para hacer que el aprendizaje automático sea accesible y eficiente en dispositivos de Apple al permitir que los modelos se ejecuten directamente en el dispositivo, sin necesidad de conexión a internet.

El núcleo de CoreML es un formato de modelo unificado que admite una amplia gama de tareas de IA, como la clasificación de imágenes, la detección de objetos, el reconocimiento de voz y el procesamiento de lenguaje natural. El framework está optimizado para aprovechar al máximo el hardware de Apple, utilizando la CPU (unidad central de procesamiento), la GPU (unidad de procesamiento gráfico) y el ANE (Apple Neural Engine) para ejecutar modelos de forma rápida y eficiente.

CoreML admite una gran variedad de tipos de modelos y es compatible con bibliotecas de aprendizaje automático populares, incluidas TensorFlow, PyTorch, scikit-learn, XGBoost y LibSVM. Esto facilita que los desarrolladores lleven capacidades de ML avanzadas a las aplicaciones cotidianas, garantizando al mismo tiempo que se ejecuten sin problemas en todos los dispositivos Apple.

Fig 1. CoreML admite modelos de otros marcos de IA populares (Fuente).

Características clave de CoreML#

Estas son algunas de las características clave que hacen de CoreML una herramienta fiable para integrar la IA en aplicaciones de Apple:

• Optimización de modelos: CoreML admite técnicas de compresión como la cuantización y la poda para reducir el tamaño del modelo y mejorar la eficiencia en tiempo de ejecución.
• Personalización en el dispositivo: El framework de ML de Apple admite la personalización en el dispositivo, lo que permite que los modelos se entrenen y actualicen localmente en función de las interacciones del usuario.
• Predicciones asíncronas: Este framework permite que tu aplicación ejecute predicciones en segundo plano, manteniendo la interfaz de usuario fluida y receptiva mientras gestiona las tareas de IA.
• Aprendizaje multitarea: CoreML admite modelos que pueden realizar múltiples tareas a la vez, como detectar objetos y reconocer texto en la misma imagen.

Cómo exportar Ultralytics YOLO11 al formato CoreML#

Ahora que tenemos una mejor comprensión del framework CoreML, veamos cómo usar la integración de CoreML compatible con Ultralytics para exportar un modelo YOLO11 al formato CoreML.

Paso 1: Configuración de tu entorno#

Para acceder a las funciones de integración proporcionadas por Ultralytics, comienza instalando el paquete de Python de Ultralytics. Es una biblioteca ligera y fácil de usar que simplifica tareas como el entrenamiento, la evaluación, la predicción y la exportación de modelos Ultralytics YOLO.

Puedes instalar el paquete de Python de Ultralytics ejecutando “pip install ultralytics” en tu terminal de comandos. Si estás usando un entorno como Jupyter Notebook o Google Colab, incluye un signo de exclamación (!) antes del comando: “!pip install ultralytics”.

Si tienes algún problema durante la instalación o al exportar a CoreML, consulta la documentación oficial de Ultralytics o la guía de problemas comunes para obtener ayuda.

Paso 2: Exportar Ultralytics YOLO11 a CoreML#

Una vez que el paquete se haya instalado correctamente, estarás listo para cargar un modelo Ultralytics YOLO11 y convertirlo al formato CoreML.

Si no estás seguro de qué modelo YOLO11 preentrenado usar, puedes explorar la gama de modelos admitidos por Ultralytics. Cada uno ofrece un equilibrio diferente de velocidad, tamaño y precisión, y puedes elegir el que mejor se adapte a tu proyecto. También puedes usar un modelo YOLO11 entrenado a medida si has entrenado uno con tu propio conjunto de datos.

En el fragmento de código siguiente, se utiliza un archivo de modelo YOLO11 preentrenado llamado "yolo11n.pt". Durante el proceso de exportación, se convierte en un paquete CoreML llamado "yolo11n.mlpackage."

El modelo "yolo11n" es la versión nano, optimizada para la velocidad y el bajo uso de recursos. Dependiendo de las necesidades de tu proyecto, también puedes elegir otros tamaños de modelo como "s" para pequeño, "m" para mediano, "l" para grande o "x" para extra grande. Cada versión ofrece un equilibrio diferente entre rendimiento y precisión.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Paso 3: Ejecución de la inferencia utilizando el modelo CoreML exportado#

Después de exportar al formato CoreML, Ultralytics YOLO11 se puede integrar fácilmente en aplicaciones iOS, lo que permite realizar tareas de visión artificial en tiempo real como object detection en dispositivos como iPhones, iPads y Macs.

Por ejemplo, el fragmento de código siguiente demuestra cómo cargar el modelo CoreML exportado y realizar la inferencia. La inferencia es el proceso de utilizar un modelo entrenado para hacer predicciones sobre nuevos datos. En este caso, el modelo analiza una imagen de una familia jugando con una pelota.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Después de ejecutar el código, la imagen resultante se guardará en la carpeta "runs/detect/predict".

Fig. 2. Uso de un modelo exportado de Ultralytics YOLO11 en formato CoreML para detectar objetos. Imagen del autor.

¿Dónde se pueden utilizar los modelos CoreML exportados?#

Exportar Ultralytics YOLO11 a CoreML ofrece la flexibilidad de crear diversas aplicaciones de visión artificial que pueden ejecutarse de manera eficiente en iPhones, iPads y Macs. A continuación, veamos algunos escenarios del mundo real donde esta integración puede ser especialmente útil.

Aplicaciones de realidad aumentada y juegos impulsadas por modelos CoreML#

La realidad aumentada (AR) combina el contenido digital con el mundo real al superponer elementos virtuales en las vistas de la cámara en directo. Se está convirtiendo en una parte clave de los juegos móviles, creando experiencias más interactivas e inmersivas.

Con Ultralytics YOLO11 exportado al formato CoreML, los desarrolladores de iOS pueden crear juegos de realidad aumentada que reconozcan objetos del mundo real como bancos, árboles o señales utilizando la cámara del teléfono. El juego puede entonces superponer elementos virtuales, como monedas, pistas o criaturas, encima de estos objetos para mejorar el entorno del jugador.

Entre bastidores, esto funciona mediante la detección y el seguimiento de objetos. Ultralytics YOLO11 detecta e identifica objetos en tiempo real, mientras que el seguimiento mantiene esos objetos a la vista a medida que se mueve la cámara, asegurando que los elementos virtuales permanezcan alineados con el mundo real.

Los jugadores pueden apuntar con sus teléfonos, explorar su entorno e interactuar con lo que ven para recoger objetos o completar desafíos rápidos. Todo esto puede ejecutarse directamente en el dispositivo sin necesidad de conexión a internet, lo que hace que la experiencia sea fluida y atractiva.

Aplicaciones iOS integradas con modelos CoreML para ANPR en tiempo real#

El reconocimiento automático de matrículas (ANPR) es una aplicación de computer vision que se utiliza para detectar y leer matrículas de vehículos. Se usa habitualmente en sistemas de seguridad, supervisión del tráfico y control de accesos. Con CoreML y modelos como YOLO11, el ANPR ahora puede ejecutarse de manera eficiente en dispositivos iOS.

Tener una aplicación de ANPR en tu iPhone puede ser especialmente útil en entornos centrados en la seguridad. Por ejemplo, puede ayudar a los equipos a determinar rápidamente si un vehículo que entra en un área restringida está autorizado o no.

Una aplicación de este tipo puede utilizar un modelo de IA de visión como Ultralytics YOLO11, integrado a través de CoreML, para detectar vehículos y localizar sus matrículas en tiempo real utilizando la cámara del dispositivo. Una vez detectada una matrícula, la tecnología de reconocimiento óptico de caracteres (OCR) puede leer el número de la placa. La aplicación puede entonces comparar este número con una base de datos local o en la nube para verificar el acceso o señalar vehículos no autorizados.

Fig 3. Vision AI se puede utilizar para detectar y leer números de matrícula. (Fuente).

Las aplicaciones centradas en la accesibilidad pueden aprovechar los modelos CoreML#

La IA ha tenido un impacto enorme en la accessibility, ayudando a derribar barreras para las personas con discapacidad visual. Con herramientas como CoreML y modelos de visión artificial como Ultralytics YOLO11, los desarrolladores pueden crear aplicaciones iOS que describan el mundo que rodea a los usuarios en tiempo real, haciendo que las tareas cotidianas sean más fáciles y autónomas.

Por ejemplo, una persona con discapacidad visual puede apuntar con la cámara de su iPhone a su entorno. La aplicación utiliza la detección de objetos para reconocer elementos clave, como vehículos, personas o señales de tráfico, y narra lo que ve. Esto puede utilizarse en situaciones como navegar por una calle concurrida o entender una emergencia.

Fig. 4. Un ejemplo de uso de Ultralytics YOLO11 para detectar personas

Conclusiones clave#

Exportar Ultralytics YOLO11 al formato CoreML crea nuevas oportunidades para aplicaciones en tiempo real, incluida la detección de objetos sin conexión en dispositivos iOS. Desde la agricultura y la seguridad hasta la accesibilidad, esta combinación permite a los desarrolladores crear aplicaciones inteligentes, eficientes y centradas en la privacidad que se ejecutan por completo en el dispositivo.

Con solo unos pocos pasos sencillos, puedes convertir tu modelo Ultralytics YOLO11 y añadir funciones fiables de visión artificial a los iPhones. Lo mejor de todo es que funciona sin necesidad de conexión a internet. En definitiva, la integración con CoreML aporta la potencia de la IA avanzada a las aplicaciones móviles cotidianas, haciéndolas más rápidas, con mayor capacidad de respuesta y listas para ejecutarse en cualquier lugar.

¿Tienes curiosidad por saber más sobre la IA? Explora nuestro repositorio de GitHub, conéctate con nuestra comunidad y consulta nuestras opciones de licencias para dar impulso a tu proyecto de computer vision. Descubre cómo innovaciones como la IA en el sector minorista y la computer vision en la logística están dando forma al futuro en nuestras páginas de soluciones.