Intégrer Ultralytics YOLO11 aux appareils Apple via CoreML

Avec l’introduction par Apple de fonctionnalités comme Apple Intelligence, il est clair que l’IA sur l’appareil devient un élément central de notre utilisation des téléphones. Pour les développeurs, cette évolution signifie que les utilisateurs adoptent des apps iOS qui exploitent des fonctionnalités comme la vision par ordinateur pour offrir des expériences plus intelligentes et plus réactives.

La vision par ordinateur est un type d’intelligence artificielle (IA) qui permet aux ordinateurs de comprendre et d’analyser des informations visuelles, comme des images ou des vidéos. Sur les appareils mobiles, elle peut être utilisée en temps réel pour détecter, classer et manipuler des objets grâce à la caméra du téléphone. Les modèles d’IA pour la vision comme Ultralytics YOLO11 peuvent être entraînés sur mesure pour reconnaître des objets spécifiques, selon les besoins de ton app.

Cependant, Ultralytics YOLO11 n’est pas configuré pour fonctionner sur iOS dès l’installation. Pour déployer YOLO11 sur des iPhone ou d’autres appareils Apple, notamment hors ligne, il doit être converti dans un format optimisé pour l’écosystème Apple.

C’est exactement le type de problème que CoreML a été conçu pour résoudre. CoreML est le framework d’apprentissage automatique d’Apple, conçu pour exécuter les modèles localement et s’intégrer parfaitement aux applications iOS et macOS. L’intégration CoreML, prise en charge par Ultralytics, facilite l’exportation de ton modèle pour un déploiement local sur les iPhone.

Dans cet article, nous allons examiner plus en détail comment exporter ton modèle Ultralytics YOLO11 au format CoreML. Nous explorerons également des cas d’utilisation en temps réel qui illustrent les avantages de l’exécution de modèles de vision par ordinateur directement sur les appareils iOS. C’est parti !

Qu’est-ce que CoreML ?#

CoreML est un framework d’apprentissage automatique (ML) développé par Apple, qui permet aux développeurs d’intégrer directement des modèles ML entraînés dans des apps de l’écosystème Apple, notamment iOS (iPhone et iPad), macOS (Mac), watchOS (Apple Watch) et tvOS (Apple TV). Il est conçu pour rendre l’apprentissage automatique accessible et efficace sur les appareils Apple en permettant aux modèles de s’exécuter directement sur l’appareil, sans connexion Internet.

Au cœur de CoreML se trouve un format de modèle unifié qui prend en charge un large éventail de tâches d’IA, comme la classification d’images, la détection d’objets, la reconnaissance vocale et le traitement du langage naturel. Le framework est optimisé pour tirer le meilleur parti du matériel Apple, en utilisant le CPU (unité centrale de traitement), le GPU (processeur graphique) et l’ANE (Apple Neural Engine) pour exécuter les modèles rapidement et efficacement.

CoreML prend en charge différents types de modèles et est compatible avec des bibliothèques d’apprentissage automatique populaires, notamment TensorFlow, PyTorch, scikit-learn, XGBoost et LibSVM. Les développeurs peuvent ainsi intégrer plus facilement des fonctionnalités avancées de ML dans des apps du quotidien, tout en garantissant leur bon fonctionnement sur les appareils Apple.

Fig. 1. CoreML prend en charge les modèles provenant d’autres frameworks d’IA populaires (Source).

Fonctionnalités clés de CoreML#

Voici quelques-unes des principales fonctionnalités qui font de CoreML un outil fiable pour intégrer l’IA dans les apps Apple :

• Optimisation du modèle: CoreML prend en charge des techniques de compression comme la quantification et l’élagage afin de réduire la taille du modèle et d’améliorer son efficacité à l’exécution.
• Personnalisation sur l’appareil : le framework ML d’Apple prend en charge la personnalisation sur l’appareil, ce qui permet d’entraîner et de mettre à jour les modèles localement en fonction des interactions des utilisateurs.
• Prédictions asynchrones : ce framework permet à ton app d’exécuter les prédictions en arrière-plan, afin de maintenir une interface utilisateur fluide et réactive pendant le traitement des tâches d’IA.
• Apprentissage multitâche : CoreML prend en charge les modèles capables d’effectuer plusieurs tâches simultanément, comme détecter des objets et reconnaître du texte dans la même image.

Comment exporter Ultralytics YOLO11 au format CoreML#

Maintenant que nous comprenons mieux le framework CoreML, voyons comment utiliser l’intégration CoreML prise en charge par Ultralytics pour exporter un modèle YOLO11 au format CoreML.

Étape 1 : configurer ton environnement#

Pour accéder aux fonctionnalités d’intégration fournies par Ultralytics, commence par installer le package Python Ultralytics. Il s’agit d’une bibliothèque légère et facile à utiliser qui simplifie des tâches comme l’entraînement, l’évaluation, la prédiction et l’exportation de modèles Ultralytics YOLO.

Tu peux installer le package Python Ultralytics en exécutant « pip install ultralytics » dans ton terminal de commande. Si tu utilises un environnement comme Jupyter Notebook ou Google Colab, ajoute un point d’exclamation (!) avant la commande : « !pip install ultralytics ».

Si tu rencontres des problèmes pendant l’installation ou lors de l’exportation vers CoreML, consulte la documentation officielle d’Ultralytics ou le guide des problèmes courants pour obtenir de l’aide.

Étape 2 : exporter Ultralytics YOLO11 vers CoreML#

Une fois le package correctement installé, tu peux charger un modèle Ultralytics YOLO11 et le convertir au format CoreML.

Si tu ne sais pas quel modèle YOLO11 préentraîné utiliser, tu peux consulter la gamme de modèles pris en charge par Ultralytics. Chacun offre un compromis différent entre vitesse, taille et précision, et tu peux choisir celui qui convient le mieux à ton projet. Tu peux également utiliser un modèle YOLO11 entraîné sur mesure si tu l’as entraîné sur ton propre jeu de données.

Dans l’extrait de code ci-dessous, un fichier de modèle YOLO11 préentraîné nommé "yolo11n.pt" est utilisé. Pendant le processus d’exportation, il est converti en un package CoreML appelé "yolo11n.mlpackage".

Le modèle "yolo11n" est la version nano, optimisée pour la vitesse et une faible utilisation des ressources. Selon les besoins de ton projet, tu peux également choisir d’autres tailles de modèles, comme "s" pour small, "m" pour medium, "l" pour large ou "x" pour extra-large. Chaque version offre un compromis différent entre performances et précision.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Étape 3 : exécuter l’inférence avec le modèle CoreML exporté#

Après son exportation au format CoreML, Ultralytics YOLO11 peut être facilement intégré dans des applications iOS, ce qui permet d’effectuer des tâches de vision par ordinateur en temps réel, comme la détection d’objets, sur des appareils tels que les iPhone, iPad et Mac.

Par exemple, l’extrait de code ci-dessous montre comment charger le modèle CoreML exporté et effectuer une inférence. L’inférence est le processus qui consiste à utiliser un modèle entraîné pour effectuer des prédictions sur de nouvelles données. Dans ce cas, le modèle analyse une image représentant une famille jouant avec un ballon.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Après l’exécution du code, l’image de sortie sera enregistrée dans le dossier "runs/detect/predict".

Fig. 2. Utilisation d’un modèle Ultralytics YOLO11 exporté au format CoreML pour détecter des objets. Image de l’auteur.

Où utiliser les modèles CoreML exportés ?#

L’exportation d’Ultralytics YOLO11 vers CoreML offre la flexibilité nécessaire pour créer diverses applications de vision par ordinateur capables de fonctionner efficacement sur les iPhone, iPad et Mac. Examinons maintenant quelques scénarios concrets dans lesquels cette intégration peut être particulièrement utile.

Applications de réalité augmentée et de jeu basées sur des modèles CoreML#

La réalité augmentée (AR) associe du contenu numérique au monde réel en superposant des éléments virtuels à des images capturées en direct par la caméra. Elle devient un élément essentiel des jeux mobiles, en créant des expériences plus interactives et immersives.

Avec Ultralytics YOLO11 exporté au format CoreML, les développeurs iOS peuvent créer des jeux en réalité augmentée qui reconnaissent des objets du monde réel comme des bancs, des arbres ou des panneaux à l’aide de la caméra du téléphone. Le jeu peut ensuite superposer des éléments virtuels, comme des pièces, des indices ou des créatures, à ces objets afin d’enrichir l’environnement du joueur.

En coulisses, cela fonctionne grâce à la détection et au suivi d’objets. Ultralytics YOLO11 détecte et identifie les objets en temps réel, tandis que le suivi les maintient dans le champ de vision lorsque la caméra se déplace, en veillant à ce que les éléments virtuels restent alignés sur le monde réel.

Les joueurs peuvent pointer leur téléphone, explorer leur environnement et interagir avec ce qu’ils voient pour récupérer des objets ou relever de petits défis. Tout cela peut s’exécuter directement sur l’appareil sans connexion Internet, ce qui rend l’expérience fluide et attrayante.

Apps iOS intégrant des modèles CoreML pour l’ANPR en temps réel#

La reconnaissance automatique des plaques d’immatriculation (ANPR) est une application de vision par ordinateur utilisée pour détecter et lire les plaques d’immatriculation des véhicules. Elle est couramment utilisée dans les systèmes de sécurité, de surveillance du trafic et de contrôle d’accès. Avec CoreML et des modèles comme YOLO11, l’ANPR peut désormais fonctionner efficacement sur les appareils iOS.

Disposer d’une app d’ANPR sur ton iPhone peut être particulièrement utile dans des environnements axés sur la sécurité. Par exemple, elle peut aider les équipes à déterminer rapidement si un véhicule entrant dans une zone réglementée est autorisé ou non.

Une telle app peut utiliser un modèle d’IA pour la vision comme Ultralytics YOLO11, intégré via CoreML, afin de détecter les véhicules et de localiser leurs plaques d’immatriculation en temps réel à l’aide de la caméra de l’appareil. Une fois une plaque détectée, la technologie de reconnaissance optique de caractères (OCR) peut lire le numéro d’immatriculation. L’app peut ensuite comparer ce numéro à une base de données locale ou dans le cloud afin de vérifier l’accès ou de signaler les véhicules non autorisés.

Fig. 3. L’IA pour la vision peut être utilisée pour détecter et lire les numéros de plaque d’immatriculation. (Source).

Les apps axées sur l’accessibilité peuvent exploiter les modèles CoreML#

L’IA a eu un impact considérable sur l’accessibilité, en contribuant à réduire les obstacles pour les personnes ayant une déficience visuelle. Grâce à des outils comme CoreML et à des modèles de vision par ordinateur tels qu’Ultralytics YOLO11, les développeurs peuvent créer des apps iOS qui décrivent en temps réel le monde qui entoure les utilisateurs, rendant les tâches quotidiennes plus faciles et plus autonomes.

Par exemple, une personne malvoyante peut orienter la caméra de son iPhone vers son environnement. L’app utilise la détection d’objets pour reconnaître des éléments importants, comme des véhicules, des personnes ou des panneaux de signalisation, puis décrit ce qu’elle voit. Cela peut être utile dans des situations comme la traversée d’une rue très fréquentée ou la compréhension d’une situation d’urgence.

Fig. 4. Exemple d’utilisation d’Ultralytics YOLO11 pour détecter des personnes

Points clés à retenir#

L’exportation d’Ultralytics YOLO11 au format CoreML crée de nouvelles possibilités pour les applications en temps réel, notamment la détection d’objets hors ligne sur les appareils iOS. De l’agriculture à la sécurité, en passant par l’accessibilité, cette combinaison permet aux développeurs de créer des apps intelligentes, efficaces et axées sur la confidentialité, qui s’exécutent entièrement sur l’appareil.

En quelques étapes simples, tu peux convertir ton modèle Ultralytics YOLO11 et ajouter des fonctionnalités fiables de vision par ordinateur aux iPhone. Mieux encore, tout fonctionne sans connexion Internet. Globalement, l’intégration CoreML apporte la puissance de l’IA avancée aux apps mobiles du quotidien, en les rendant plus rapides, plus réactives et prêtes à fonctionner partout.

Tu souhaites en savoir plus sur l’IA ? Explore notre dépôt GitHub, rejoins notre communauté et consulte nos options de licence pour lancer ton projet de vision par ordinateur. Découvre comment des innovations comme l’IA dans le commerce de détail et la vision par ordinateur dans la logistique façonnent l’avenir sur nos pages de solutions.