Intégrer Ultralytics YOLO11 sur des appareils Apple via CoreML

Avec l'introduction par Apple de fonctionnalités telles que Apple Intelligence, il est clair que l'IA sur appareil devient un élément central de notre utilisation des téléphones. Pour les développeurs, ce changement signifie que les utilisateurs adoptent des applications iOS qui utilisent des capacités comme la vision par ordinateur pour offrir des expériences plus intelligentes et plus réactives.

La vision par ordinateur est un type d'intelligence artificielle (IA) qui permet aux ordinateurs de comprendre et d'analyser des informations visuelles, telles que des images ou des vidéos. Sur les appareils mobiles, elle peut être utilisée en temps réel pour détecter, classer et interagir avec des objets via la caméra du téléphone. Les modèles d'IA de vision comme Ultralytics YOLO11 peuvent être entraînés sur mesure pour reconnaître des objets spécifiques, selon les besoins de ton application.

Cependant, YOLO11 n'est pas configuré pour fonctionner sur iOS dès sa sortie. Pour déployer YOLO11 sur des iPhones ou d'autres appareils Apple, notamment pour une utilisation hors ligne, il doit être converti dans un format optimisé pour l'écosystème d'Apple.

C'est exactement le genre de problème que CoreML a été conçu pour résoudre. CoreML est le framework d'apprentissage automatique d'Apple, conçu pour exécuter des modèles localement et s'intégrer de manière transparente dans les applications iOS et macOS. L'intégration CoreML, prise en charge par Ultralytics, facilite l'exportation de ton modèle pour un déploiement local sur iPhone.

Dans cet article, nous examinerons de plus près comment exporter ton modèle YOLO11 au format CoreML. Nous explorerons également des cas d'utilisation en temps réel qui montrent les avantages de l'exécution de modèles de vision par ordinateur directement sur les appareils iOS. Commençons !

Link to this sectionQu'est-ce que CoreML ?#

CoreML est un framework d'apprentissage automatique (ML) développé par Apple qui permet aux développeurs d'intégrer des modèles de ML entraînés directement dans des applications à travers l'écosystème Apple, incluant iOS (iPhone et iPad), macOS (Mac), watchOS (Apple Watch) et tvOS (Apple TV). Il est conçu pour rendre l'apprentissage automatique accessible et efficace sur les appareils Apple en permettant aux modèles de s'exécuter directement sur l'appareil, sans nécessiter de connexion internet.

Au cœur de CoreML se trouve un format de modèle unifié qui prend en charge une large gamme de tâches d'IA telles que la classification d'images, la détection d'objets, la reconnaissance vocale et le traitement du langage naturel. Le framework est optimisé pour tirer le meilleur parti du matériel d'Apple, utilisant le CPU (unité centrale de traitement), le GPU (unité de traitement graphique) et l'ANE (Apple Neural Engine) pour exécuter les modèles rapidement et efficacement.

CoreML prend en charge une variété de types de modèles et est compatible avec les bibliothèques d'apprentissage automatique populaires, incluant TensorFlow, PyTorch, scikit-learn, XGBoost et LibSVM. Cela facilite pour les développeurs l'intégration de capacités ML avancées dans les applications du quotidien tout en assurant un fonctionnement fluide sur les appareils Apple.

Fig 1. CoreML prend en charge les modèles provenant d'autres frameworks d'IA populaires (Source).

Link to this sectionFonctionnalités clés de CoreML#

Voici quelques-unes des fonctionnalités clés qui font de CoreML un outil fiable pour intégrer l'IA dans les applications Apple :

• Optimisation du modèle** :** CoreML prend en charge des techniques de compression comme la quantification et l'élagage pour réduire la taille du modèle et améliorer l'efficacité à l'exécution.
• Personnalisation sur l'appareil : Le framework ML d'Apple prend en charge la personnalisation sur l'appareil, permettant aux modèles d'être entraînés et mis à jour localement en fonction des interactions de l'utilisateur.
• Prédictions asynchrones : Ce framework permet à ton application d'exécuter des prédictions en arrière-plan, gardant l'interface utilisateur fluide et réactive tout en gérant les tâches d'IA.
• Apprentissage multi-tâches : CoreML prend en charge les modèles capables d'effectuer plusieurs tâches à la fois, comme la détection d'objets et la reconnaissance de texte dans la même image.

Link to this sectionComment exporter YOLO11 au format CoreML#

Maintenant que nous avons une meilleure compréhension du framework CoreML, voyons comment utiliser l'intégration CoreML prise en charge par Ultralytics pour exporter un modèle YOLO11 au format CoreML.

Link to this sectionÉtape 1 : Configuration de ton environnement#

Pour accéder aux fonctionnalités d'intégration fournies par Ultralytics, commence par installer le paquet Python Ultralytics. C'est une bibliothèque légère et facile à utiliser qui simplifie des tâches telles que l'entraînement, l'évaluation, la prédiction et l'exportation des modèles Ultralytics YOLO.

Tu peux installer le paquet Python Ultralytics en exécutant « pip install ultralytics » dans ton terminal de commande. Si tu utilises un environnement comme Jupyter Notebook ou Google Colab, inclus un point d'exclamation (!) avant la commande : « !pip install ultralytics ».

Si tu rencontres des problèmes lors de l'installation ou de l'exportation vers CoreML, consulte la documentation officielle d'Ultralytics ou le guide Problèmes courants pour obtenir de l'aide.

Link to this sectionÉtape 2 : Exportation de YOLO11 vers CoreML#

Une fois le paquet installé avec succès, tu es prêt à charger un modèle YOLO11 et à le convertir au format CoreML.

Si tu n'es pas sûr du modèle YOLO11 pré-entraîné à utiliser, tu peux explorer la gamme de modèles pris en charge par Ultralytics. Chacun offre un équilibre différent entre vitesse, taille et précision, et tu peux choisir celui qui convient le mieux à ton projet. Tu peux également utiliser un modèle YOLO11 entraîné sur mesure si tu en as entraîné un sur ton propre jeu de données.

Dans l'extrait de code ci-dessous, un fichier de modèle YOLO11 pré-entraîné nommé « yolo11n.pt » est utilisé. Pendant le processus d'exportation, il est converti en un paquet CoreML appelé « yolo11n.mlpackage ».

Le modèle « yolo11n » est la version nano, optimisée pour la vitesse et une faible consommation de ressources. Selon les besoins de ton projet, tu peux également choisir d'autres tailles de modèle comme « s » pour petit, « m » pour moyen, « l » pour grand ou « x » pour extra-grand. Chaque version offre un équilibre différent entre performance et précision.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this sectionÉtape 3 : Exécution de l'inférence en utilisant le modèle CoreML exporté#

Après l'exportation au format CoreML, YOLO11 peut être facilement intégré dans les applications iOS, permettant des tâches de vision par ordinateur en temps réel comme la détection d'objets sur des appareils tels que les iPhones, iPads et Macs.

Par exemple, l'extrait de code ci-dessous démontre comment charger le modèle CoreML exporté et effectuer une inférence. L'inférence est le processus consistant à utiliser un modèle entraîné pour effectuer des prédictions sur de nouvelles données. Dans ce cas, le modèle analyse une image d'une famille jouant avec un ballon.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Après avoir exécuté le code, l'image de sortie sera enregistrée dans le dossier « runs/detect/predict ».

Fig 2. Utilisation d'un modèle YOLO11 exporté au format CoreML pour détecter des objets. Image par l'auteur.

Link to this sectionOù les modèles CoreML exportés peuvent-ils être utilisés ?#

L'exportation de YOLO11 vers CoreML apporte la flexibilité de construire diverses applications de vision par ordinateur pouvant fonctionner efficacement sur iPhones, iPads et Macs. Examinons maintenant quelques scénarios concrets où cette intégration peut être particulièrement utile.

Link to this sectionApplications de réalité augmentée et de jeu pilotées par des modèles CoreML#

La réalité augmentée (AR) mélange le contenu numérique avec le monde réel en superposant des éléments virtuels sur des vues de caméra en direct. Elle devient un élément clé du jeu mobile, créant des expériences plus interactives et immersives.

Avec YOLO11 exporté au format CoreML, les développeurs iOS peuvent créer des jeux AR qui reconnaissent des objets du monde réel comme des bancs, des arbres ou des panneaux en utilisant la caméra du téléphone. Le jeu peut ensuite superposer des objets virtuels, comme des pièces, des indices ou des créatures, sur ces objets pour améliorer l'environnement du joueur.

En coulisses, cela fonctionne en utilisant la détection et le suivi d'objets. YOLO11 détecte et identifie les objets en temps réel, tandis que le suivi garde ces objets en vue à mesure que la caméra bouge, en s'assurant que les éléments virtuels restent alignés avec le monde réel.

Les joueurs peuvent pointer leurs téléphones, explorer leur environnement et interagir avec ce qu'ils voient pour collecter des objets ou relever des défis rapides. Tout cela peut fonctionner directement sur l'appareil sans avoir besoin d'une connexion internet, rendant l'expérience fluide et engageante.

Link to this sectionApplications iOS intégrées avec des modèles CoreML pour l'ANPR en temps réel#

La reconnaissance automatique de plaques d'immatriculation (ANPR) est une application de vision par ordinateur utilisée pour détecter et lire les plaques d'immatriculation des véhicules. Elle est couramment utilisée dans les systèmes de sécurité, de surveillance du trafic et de contrôle d'accès. Avec CoreML et des modèles comme YOLO11, l'ANPR peut désormais fonctionner efficacement sur les appareils iOS.

Avoir une application ANPR sur ton iPhone peut être particulièrement utile dans des environnements axés sur la sécurité. Par exemple, cela peut aider les équipes à déterminer rapidement si un véhicule entrant dans une zone restreinte est autorisé ou non.

Une telle application peut utiliser un modèle d'IA de vision comme YOLO11, intégré via CoreML, pour détecter les véhicules et localiser leurs plaques d'immatriculation en temps réel en utilisant la caméra de l'appareil. Une fois une plaque détectée, la technologie de reconnaissance optique de caractères (OCR) peut lire le numéro d'immatriculation. L'application peut ensuite comparer ce numéro à une base de données locale ou basée sur le cloud pour vérifier l'accès ou signaler les véhicules non autorisés.

Fig 3. L'IA de vision peut être utilisée pour détecter et lire des numéros de plaque d'immatriculation. (Source).

Link to this sectionLes applications axées sur l'accessibilité peuvent tirer parti des modèles CoreML#

L'IA a eu un impact énorme sur l'accessibilité, aidant à lever les barrières pour les personnes malvoyantes. Avec des outils comme CoreML et des modèles de vision par ordinateur tels que YOLO11, les développeurs peuvent créer des applications iOS qui décrivent le monde autour des utilisateurs en temps réel, rendant les tâches quotidiennes plus faciles et plus indépendantes.

Par exemple, une personne malvoyante peut pointer la caméra de son iPhone vers son environnement. L'application utilise la détection d'objets pour reconnaître des éléments clés, comme des véhicules, des personnes ou des panneaux de signalisation, et narre ce qu'elle voit. Cela peut être utilisé dans des situations comme naviguer dans une rue animée ou comprendre une urgence.

Fig 4. Un exemple d'utilisation de YOLO11 pour détecter des personnes

Link to this sectionPoints clés#

L'exportation de YOLO11 au format CoreML crée de nouvelles opportunités pour les applications en temps réel, incluant la détection d'objets hors ligne sur les appareils iOS. De l'agriculture à la sécurité en passant par l'accessibilité, cette combinaison permet aux développeurs de construire des applications intelligentes, efficaces et axées sur la confidentialité qui fonctionnent entièrement sur l'appareil.

Avec seulement quelques étapes simples, tu peux convertir ton modèle YOLO11 et ajouter des fonctionnalités de vision par ordinateur fiables aux iPhones. Mieux encore, cela fonctionne sans avoir besoin d'une connexion internet. Dans l'ensemble, l'intégration CoreML apporte la puissance d'une IA avancée aux applications mobiles quotidiennes, les rendant plus rapides, plus réactives et prêtes à fonctionner partout.

Curieux d'en apprendre davantage sur l'IA ? Explore notre dépôt GitHub, connecte-toi avec notre communauté et consulte nos options de licence pour lancer ton projet de vision par ordinateur. Découvre comment des innovations comme l'IA dans le commerce de détail et la vision par ordinateur dans la logistique façonnent l'avenir sur nos pages de solutions.