Intégrer Ultralytics YOLO11 sur des appareils Apple via CoreML
Découvre à quel point il est facile d'intégrer Ultralytics YOLO11 sur des appareils Apple avec CoreML et d'activer des tâches de vision par ordinateur hors ligne rapides pour des applications iOS en temps réel.
Avec l'introduction par Apple de fonctionnalités telles que Apple Intelligence, il est clair que l'IA sur appareil devient un élément central de notre utilisation quotidienne des téléphones. Pour les développeurs, ce changement signifie que les utilisateurs adoptent des applications iOS qui exploitent des capacités telles que la computer vision pour offrir des expériences plus intelligentes et plus réactives.
Computer vision est un type d'intelligence artificielle (IA) qui permet aux ordinateurs de comprendre et d'analyser des informations visuelles, telles que des images ou des vidéos. Sur les appareils mobiles, elle peut être utilisée en temps réel pour détecter, classifier et interagir avec des objets via la caméra du téléphone. Des modèles de vision AI comme Ultralytics YOLO11 peuvent être entraînés sur mesure pour reconnaître des objets spécifiques, selon les besoins de ton application.
Cependant, Ultralytics YOLO11 n'est pas configuré pour tourner sur iOS dès la sortie de la boîte. Pour déployer YOLO11 sur des iPhone ou d'autres appareils Apple, en particulier pour une utilisation hors ligne, il faut le convertir dans un format optimisé pour l'écosystème d'Apple.
C'est exactement le genre de problème que CoreML a été conçu pour résoudre. CoreML est le framework de machine learning d'Apple, conçu pour exécuter des modèles localement et s'intégrer de manière fluide dans les applications iOS et macOS. L'intégration CoreML, prise en charge par Ultralytics, facilite l'exportation de ton modèle pour un déploiement local sur iPhone.
Dans cet article, nous allons examiner de plus près comment exporter ton modèle Ultralytics YOLO11 au format CoreML. Nous explorerons également des cas d'utilisation en temps réel qui montrent les avantages de l'exécution de modèles de vision par ordinateur directement sur les appareils iOS. C'est parti !
Qu'est-ce que CoreML ?#
CoreML est un framework de machine learning (ML) développé par Apple qui permet aux développeurs d'intégrer directement des modèles de ML entraînés dans des applications à travers tout l'écosystème Apple, incluant iOS (iPhone et iPad), macOS (Mac), watchOS (Apple Watch) et tvOS (Apple TV). Il est conçu pour rendre le machine learning accessible et efficace sur les appareils Apple en permettant aux modèles de s'exécuter directement sur l'appareil, sans nécessiter de connexion Internet.
Au cœur de CoreML se trouve un format de modèle unifié qui prend en charge une large gamme de tâches d'IA telles que la classification d'images, la détection d'objets, la reconnaissance vocale et le traitement du langage naturel. Le framework est optimisé pour tirer le meilleur parti du matériel d'Apple, utilisant le CPU (unité centrale de traitement), le GPU (unité de traitement graphique) et l'ANE (Apple Neural Engine) pour exécuter les modèles rapidement et efficacement.
CoreML prend en charge une variété de types de modèles et est compatible avec les bibliothèques d'apprentissage automatique populaires, incluant TensorFlow, PyTorch, scikit-learn, XGBoost et LibSVM. Cela facilite pour les développeurs l'intégration de capacités ML avancées dans les applications du quotidien tout en assurant un fonctionnement fluide sur les appareils Apple.
Fig 1. CoreML prend en charge des modèles issus d'autres frameworks d'IA populaires (Source).
Fonctionnalités clés de CoreML#
Voici quelques-unes des fonctionnalités clés qui font de CoreML un outil fiable pour intégrer l'IA dans les applications Apple :
- Optimisation de modèle: CoreML prend en charge des techniques de compression telles que la quantification et l'élagage pour réduire la taille du modèle et améliorer l'efficacité à l'exécution.
- Personnalisation sur l'appareil : Le framework ML d'Apple prend en charge la personnalisation sur l'appareil, permettant aux modèles d'être entraînés et mis à jour localement en fonction des interactions de l'utilisateur.
- Prédictions asynchrones : Ce framework permet à ton application d'exécuter des prédictions en arrière-plan, gardant l'interface utilisateur fluide et réactive tout en gérant les tâches d'IA.
- Apprentissage multi-tâches : CoreML prend en charge les modèles capables d'effectuer plusieurs tâches à la fois, comme la détection d'objets et la reconnaissance de texte dans la même image.
Comment exporter Ultralytics YOLO11 au format CoreML#
Maintenant que nous avons une meilleure compréhension du framework CoreML, voyons comment utiliser l'intégration CoreML prise en charge par Ultralytics pour exporter un modèle YOLO11 au format CoreML.
Étape 1 : Configuration de ton environnement#
Pour accéder aux fonctionnalités d'intégration fournies par Ultralytics, commence par installer le package Python Ultralytics. C'est une bibliothèque légère et simple d'utilisation qui simplifie des tâches telles que l'entraînement, l'évaluation, la prédiction et l'exportation de modèles Ultralytics YOLO.
Tu peux installer le paquet Python Ultralytics en exécutant « pip install ultralytics » dans ton terminal de commande. Si tu utilises un environnement comme Jupyter Notebook ou Google Colab, inclus un point d'exclamation (!) avant la commande : « !pip install ultralytics ».
Si tu rencontres des problèmes lors de l'installation ou de l'exportation vers CoreML, consulte la documentation officielle d'Ultralytics ou le guide des problèmes courants pour obtenir de l'aide.
Étape 2 : Exportation d'Ultralytics YOLO11 vers CoreML#
Une fois le paquet installé avec succès, tu es prêt à charger un modèle Ultralytics YOLO11 et à le convertir au format CoreML.
Si tu ne sais pas quel modèle YOLO11 pré-entraîné utiliser, tu peux explorer la gamme de modèles pris en charge par Ultralytics. Chacun offre un équilibre différent entre vitesse, taille et précision, et tu peux choisir celui qui convient le mieux à ton projet. Tu peux également utiliser un modèle YOLO11 entraîné sur mesure si tu en as entraîné un sur ton propre dataset.
Dans l'extrait de code ci-dessous, un fichier de modèle YOLO11 pré-entraîné nommé « yolo11n.pt » est utilisé. Pendant le processus d'exportation, il est converti en un paquet CoreML appelé « yolo11n.mlpackage ».
Le modèle « yolo11n » est la version nano, optimisée pour la vitesse et une faible consommation de ressources. Selon les besoins de ton projet, tu peux également choisir d'autres tailles de modèle comme « s » pour petit, « m » pour moyen, « l » pour grand ou « x » pour extra-grand. Chaque version offre un équilibre différent entre performance et précision.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="coreml")Étape 3 : Exécution de l'inférence en utilisant le modèle CoreML exporté#
Après l'exportation au format CoreML, Ultralytics YOLO11 peut facilement être intégré dans des applications iOS, permettant des tâches de vision par ordinateur en temps réel telles que la détection d'objets sur des appareils tels que des iPhones, des iPads et des Mac.
Par exemple, l'extrait de code ci-dessous démontre comment charger le modèle CoreML exporté et effectuer une inférence. L'inférence est le processus consistant à utiliser un modèle entraîné pour effectuer des prédictions sur de nouvelles données. Dans ce cas, le modèle analyse une image d'une famille jouant avec un ballon.
coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)Après avoir exécuté le code, l'image de sortie sera enregistrée dans le dossier « runs/detect/predict ».
Fig. 2. Utilisation d'un modèle Ultralytics YOLO11 exporté au format CoreML pour détecter des objets. Image par l'auteur.
Où les modèles CoreML exportés peuvent-ils être utilisés ?#
L'exportation d'Ultralytics YOLO11 vers CoreML offre la flexibilité de créer diverses applications de vision par ordinateur qui peuvent s'exécuter efficacement sur des iPhones, des iPads et des Mac. Voyons maintenant quelques scénarios du monde réel où cette intégration peut s'avérer particulièrement utile.
Applications de réalité augmentée et de jeu pilotées par des modèles CoreML#
La réalité augmentée (AR) mélange le contenu numérique avec le monde réel en superposant des éléments virtuels sur des flux de caméra en direct. Elle devient un élément clé du jeu mobile, créant des expériences plus interactives et immersives.
Avec Ultralytics YOLO11 exporté au format CoreML, les développeurs iOS peuvent créer des jeux en réalité augmentée qui reconnaissent des objets du monde réel comme des bancs, des arbres ou des panneaux à l'aide de la caméra du téléphone. Le jeu peut ensuite superposer des éléments virtuels, tels que des pièces, des indices ou des créatures, sur ces objets pour améliorer l'environnement du joueur.
En arrière-plan, cela fonctionne grâce à la détection d'objets et au suivi d'objets. Ultralytics YOLO11 détecte et identifie les objets en temps réel, tandis que le suivi maintient ces objets en vue lorsque la caméra bouge, garantissant que les éléments virtuels restent alignés avec le monde réel.
Les joueurs peuvent pointer leurs téléphones, explorer leur environnement et interagir avec ce qu'ils voient pour collecter des objets ou relever des défis rapides. Tout cela peut fonctionner directement sur l'appareil sans avoir besoin d'une connexion internet, rendant l'expérience fluide et engageante.
Applications iOS intégrées avec des modèles CoreML pour l'ANPR en temps réel#
La reconnaissance automatique des plaques d'immatriculation (ANPR) est une application de computer vision utilisée pour détecter et lire les plaques d'immatriculation des véhicules. Elle est couramment utilisée dans les systèmes de sécurité, de surveillance du trafic et de contrôle d'accès. Avec CoreML et des modèles comme YOLO11, l'ANPR peut désormais s'exécuter efficacement sur les appareils iOS.
Avoir une application ANPR sur ton iPhone peut être particulièrement utile dans des environnements axés sur la sécurité. Par exemple, cela peut aider les équipes à déterminer rapidement si un véhicule entrant dans une zone restreinte est autorisé ou non.
Une telle application peut utiliser un modèle de vision par IA tel qu'Ultralytics YOLO11, intégré via CoreML, pour détecter des véhicules et localiser leurs plaques d'immatriculation en temps réel à l'aide de la caméra de l'appareil. Une fois qu'une plaque est détectée, la technologie de reconnaissance optique de caractères (OCR) peut lire le numéro d'immatriculation. L'application peut ensuite comparer ce numéro à une base de données locale ou basée sur le cloud pour vérifier l'accès ou signaler les véhicules non autorisés.
Fig 3. La vision AI peut être utilisée pour détecter et lire les numéros de plaques d'immatriculation. (Source).
Les applications axées sur l'accessibilité peuvent tirer parti des modèles CoreML#
L'IA a eu un impact énorme sur l'accessibilité, aidant à éliminer les obstacles pour les personnes malvoyantes. Avec des outils comme CoreML et des modèles de vision par ordinateur tels qu'Ultralytics YOLO11, les développeurs peuvent créer des applications iOS qui décrivent le monde qui entoure les utilisateurs en temps réel, rendant les tâches quotidiennes plus faciles et plus autonomes.
Par exemple, une personne malvoyante peut pointer la caméra de son iPhone vers son environnement. L'application utilise la détection d'objets pour reconnaître des éléments clés, comme des véhicules, des personnes ou des panneaux de signalisation, et narre ce qu'elle voit. Cela peut être utilisé dans des situations comme naviguer dans une rue animée ou comprendre une urgence.
Fig. 4. Un exemple d'utilisation d'Ultralytics YOLO11 pour détecter des personnes
Points clés#
L'exportation d'Ultralytics YOLO11 vers le format CoreML crée de nouvelles opportunités pour les applications en temps réel, y compris la détection d'objets hors ligne sur les appareils iOS. De l'agriculture et de la sécurité à l'accessibilité, cette combinaison permet aux développeurs de créer des applications intelligentes, efficaces et axées sur la confidentialité qui s'exécutent entièrement sur l'appareil.
En quelques étapes simples, tu peux convertir ton modèle Ultralytics YOLO11 et ajouter des fonctionnalités de vision par ordinateur fiables aux iPhones. Mieux encore, cela fonctionne sans avoir besoin d'une connexion Internet. Globalement, l'intégration CoreML apporte la puissance d'une IA avancée aux applications mobiles de tous les jours, les rendant plus rapides, plus réactives et prêtes à fonctionner n'où que tu sois.
Curieux d'en savoir plus sur l'IA ? Explore notre dépôt GitHub, rejoins notre communauté et consulte nos options de licence pour lancer ton projet de computer vision. Découvre comment des innovations telles que l'IA dans le commerce de détail et la computer vision dans la logistique façonnent l'avenir sur nos pages de solutions.
