Llevando Ultralytics YOLO11 a dispositivos Apple mediante CoreML

Con la introducción de funciones como Apple Intelligence por parte de Apple, está claro que la IA en el propio dispositivo se está convirtiendo en una parte fundamental de cómo usamos nuestros teléfonos. Para los desarrolladores, este cambio significa que los usuarios están adoptando aplicaciones iOS que emplean capacidades como la visión artificial para ofrecer experiencias más inteligentes y con mayor capacidad de respuesta.

La visión artificial es un tipo de inteligencia artificial (IA) que permite a las computadoras comprender y analizar información visual, como imágenes o vídeos. En dispositivos móviles, puede utilizarse en tiempo real para detectar, clasificar e interactuar con objetos a través de la cámara del teléfono. Los modelos de IA de visión como Ultralytics YOLO11 pueden entrenarse de forma personalizada para reconocer objetos específicos, según las necesidades de tu aplicación.

Sin embargo, YOLO11 no está configurado para ejecutarse en iOS directamente. Para desplegar YOLO11 en iPhones u otros dispositivos Apple, especialmente para su uso sin conexión, es necesario convertirlo a un formato optimizado para el ecosistema de Apple.

Este es exactamente el tipo de problema para el que se creó CoreML. CoreML es el framework de aprendizaje automático de Apple, desarrollado para ejecutar modelos de forma local e integrarse perfectamente en aplicaciones iOS y macOS. La integración con CoreML, respaldada por Ultralytics, facilita la exportación de tu modelo para su despliegue local en iPhones.

En este artículo, analizaremos más de cerca cómo exportar tu modelo YOLO11 al formato CoreML. También exploraremos casos de uso en tiempo real que muestran las ventajas de ejecutar modelos de visión artificial directamente en dispositivos iOS. ¡Empecemos!

Link to this section¿Qué es CoreML?#

CoreML es un framework de aprendizaje automático (ML) desarrollado por Apple que permite a los desarrolladores integrar modelos de ML entrenados directamente en aplicaciones en todo el ecosistema de Apple, incluidos iOS (iPhone y iPad), macOS (Mac), watchOS (Apple Watch) y tvOS (Apple TV). Está diseñado para hacer que el aprendizaje automático sea accesible y eficiente en dispositivos Apple al permitir que los modelos se ejecuten directamente en el dispositivo, sin necesidad de conexión a internet.

El núcleo de CoreML es un formato de modelo unificado que admite una amplia gama de tareas de IA, como la clasificación de imágenes, la detección de objetos, el reconocimiento de voz y el procesamiento de lenguaje natural. El framework está optimizado para aprovechar al máximo el hardware de Apple, utilizando la CPU (unidad central de procesamiento), la GPU (unidad de procesamiento gráfico) y el ANE (Apple Neural Engine) para ejecutar modelos de forma rápida y eficiente.

CoreML admite una gran variedad de tipos de modelos y es compatible con bibliotecas de aprendizaje automático populares, incluidas TensorFlow, PyTorch, scikit-learn, XGBoost y LibSVM. Esto facilita que los desarrolladores lleven capacidades de ML avanzadas a las aplicaciones cotidianas, garantizando al mismo tiempo que se ejecuten sin problemas en todos los dispositivos Apple.

Fig 1. CoreML admite modelos de otros frameworks de IA populares (Fuente).

Link to this sectionCaracterísticas clave de CoreML#

Estas son algunas de las características clave que hacen de CoreML una herramienta fiable para integrar la IA en aplicaciones de Apple:

• Optimización de modelos: CoreML admite técnicas de compresión como la cuantización y la poda para reducir el tamaño del modelo y mejorar la eficiencia durante la ejecución.
• Personalización en el dispositivo: El framework de ML de Apple admite la personalización en el dispositivo, lo que permite que los modelos se entrenen y actualicen localmente en función de las interacciones del usuario.
• Predicciones asíncronas: Este framework permite que tu aplicación ejecute predicciones en segundo plano, manteniendo la interfaz de usuario fluida y receptiva mientras gestiona las tareas de IA.
• Aprendizaje multitarea: CoreML admite modelos que pueden realizar múltiples tareas a la vez, como detectar objetos y reconocer texto en la misma imagen.

Link to this sectionCómo exportar YOLO11 al formato CoreML#

Ahora que tenemos una mejor comprensión del framework CoreML, veamos cómo usar la integración de CoreML compatible con Ultralytics para exportar un modelo YOLO11 al formato CoreML.

Link to this sectionPaso 1: Configuración de tu entorno#

Para acceder a las funciones de integración proporcionadas por Ultralytics, comienza instalando el paquete de Python de Ultralytics. Es una biblioteca ligera y fácil de usar que simplifica tareas como entrenar, evaluar, predecir y exportar modelos de Ultralytics YOLO.

Puedes instalar el paquete de Python de Ultralytics ejecutando “pip install ultralytics” en tu terminal de comandos. Si estás usando un entorno como Jupyter Notebook o Google Colab, incluye un signo de exclamación (!) antes del comando: “!pip install ultralytics”.

Si tienes algún problema durante la instalación o al exportar a CoreML, consulta la documentación oficial de Ultralytics o la guía de problemas comunes para obtener ayuda.

Link to this sectionPaso 2: Exportación de YOLO11 a CoreML#

Una vez que el paquete esté instalado correctamente, estarás listo para cargar un modelo YOLO11 y convertirlo al formato CoreML.

Si no estás seguro de qué modelo YOLO11 preentrenado utilizar, puedes explorar la gama de modelos admitidos por Ultralytics. Cada uno ofrece un equilibrio diferente entre velocidad, tamaño y precisión, y puedes elegir el que mejor se adapte a tu proyecto. También puedes usar un modelo YOLO11 entrenado de forma personalizada si has entrenado uno con tu propio conjunto de datos.

En el fragmento de código siguiente, se utiliza un archivo de modelo YOLO11 preentrenado llamado "yolo11n.pt". Durante el proceso de exportación, se convierte en un paquete CoreML llamado "yolo11n.mlpackage."

El modelo "yolo11n" es la versión nano, optimizada para la velocidad y el bajo uso de recursos. Dependiendo de las necesidades de tu proyecto, también puedes elegir otros tamaños de modelo como "s" para pequeño, "m" para mediano, "l" para grande o "x" para extra grande. Cada versión ofrece un equilibrio diferente entre rendimiento y precisión.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this sectionPaso 3: Ejecución de la inferencia utilizando el modelo CoreML exportado#

Tras exportarlo al formato CoreML, YOLO11 puede integrarse fácilmente en aplicaciones iOS, permitiendo tareas de visión artificial en tiempo real como la detección de objetos en dispositivos como iPhones, iPads y Macs.

Por ejemplo, el fragmento de código siguiente demuestra cómo cargar el modelo CoreML exportado y realizar la inferencia. La inferencia es el proceso de utilizar un modelo entrenado para hacer predicciones sobre nuevos datos. En este caso, el modelo analiza una imagen de una familia jugando con una pelota.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Después de ejecutar el código, la imagen resultante se guardará en la carpeta "runs/detect/predict".

Fig 2. Uso de un modelo YOLO11 exportado en formato CoreML para detectar objetos. Imagen del autor.

Link to this section¿Dónde se pueden utilizar los modelos CoreML exportados?#

Exportar YOLO11 a CoreML brinda la flexibilidad necesaria para crear diversas aplicaciones de visión artificial que pueden ejecutarse de manera eficiente en iPhones, iPads y Macs. A continuación, veamos algunos escenarios del mundo real donde esta integración puede ser especialmente útil.

Link to this sectionAplicaciones de realidad aumentada y juegos impulsadas por modelos CoreML#

La realidad aumentada (AR) combina contenido digital con el mundo real superponiendo elementos virtuales en las vistas de cámara en vivo. Se está convirtiendo en una parte clave de los juegos móviles, creando experiencias más interactivas e inmersivas.

Con YOLO11 exportado al formato CoreML, los desarrolladores de iOS pueden crear juegos de AR que reconozcan objetos del mundo real como bancos, árboles o señales utilizando la cámara del teléfono. El juego puede entonces superponer elementos virtuales, como monedas, pistas o criaturas, sobre estos objetos para mejorar el entorno del jugador.

Detrás de escena, esto funciona utilizando la detección y el seguimiento de objetos. YOLO11 detecta e identifica objetos en tiempo real, mientras que el seguimiento mantiene esos objetos a la vista a medida que la cámara se mueve, asegurando que los elementos virtuales permanezcan alineados con el mundo real.

Los jugadores pueden apuntar con sus teléfonos, explorar su entorno e interactuar con lo que ven para recoger objetos o completar desafíos rápidos. Todo esto puede ejecutarse directamente en el dispositivo sin necesidad de conexión a internet, lo que hace que la experiencia sea fluida y atractiva.

Link to this sectionAplicaciones iOS integradas con modelos CoreML para ANPR en tiempo real#

El Reconocimiento Automático de Matrículas (ANPR) es una aplicación de visión artificial utilizada para detectar y leer matrículas de vehículos. Se utiliza habitualmente en sistemas de seguridad, control de tráfico y control de acceso. Con CoreML y modelos como YOLO11, el ANPR ahora puede ejecutarse de manera eficiente en dispositivos iOS.

Tener una aplicación de ANPR en tu iPhone puede ser especialmente útil en entornos centrados en la seguridad. Por ejemplo, puede ayudar a los equipos a determinar rápidamente si un vehículo que entra en un área restringida está autorizado o no.

Dicha aplicación puede utilizar un modelo de IA de visión como YOLO11, integrado a través de CoreML, para detectar vehículos y localizar sus matrículas en tiempo real utilizando la cámara del dispositivo. Una vez detectada la matrícula, la tecnología de Reconocimiento Óptico de Caracteres (OCR) puede leer el número de matrícula. La aplicación puede entonces comparar este número con una base de datos local o en la nube para verificar el acceso o marcar vehículos no autorizados.

Fig 3. La IA de visión puede utilizarse para detectar y leer números de matrícula. (Fuente).

Link to this sectionLas aplicaciones centradas en la accesibilidad pueden aprovechar los modelos CoreML#

La IA ha tenido un gran impacto en la accesibilidad, ayudando a eliminar barreras para las personas con discapacidad visual. Con herramientas como CoreML y modelos de visión artificial como YOLO11, los desarrolladores pueden crear aplicaciones iOS que describan el mundo a los usuarios en tiempo real, facilitando las tareas cotidianas y fomentando la independencia.

Por ejemplo, una persona con discapacidad visual puede apuntar con la cámara de su iPhone a su entorno. La aplicación utiliza la detección de objetos para reconocer elementos clave, como vehículos, personas o señales de tráfico, y narra lo que ve. Esto puede utilizarse en situaciones como navegar por una calle concurrida o entender una emergencia.

Fig 4. Un ejemplo del uso de YOLO11 para detectar personas

Link to this sectionConclusiones clave#

Exportar YOLO11 al formato CoreML crea nuevas oportunidades para aplicaciones en tiempo real, incluida la detección de objetos sin conexión en dispositivos iOS. Desde la agricultura y la seguridad hasta la accesibilidad, esta combinación permite a los desarrolladores crear aplicaciones inteligentes, eficientes y centradas en la privacidad que se ejecutan completamente en el dispositivo.

Con solo unos pocos pasos sencillos, puedes convertir tu modelo YOLO11 y añadir funciones de visión artificial fiables a los iPhones. Lo mejor de todo es que funciona sin necesidad de conexión a internet. En general, la integración de CoreML aporta el poder de la IA avanzada a las aplicaciones móviles cotidianas, haciéndolas más rápidas, más receptivas y listas para funcionar en cualquier lugar.

¿Tienes curiosidad por aprender más sobre IA? Explora nuestro repositorio de GitHub, conecta con nuestra comunidad y consulta nuestras opciones de licencia para impulsar tu proyecto de visión artificial. Descubre cómo innovaciones como la IA en el comercio minorista y la visión artificial en logística están dando forma al futuro en nuestras páginas de soluciones.