Meilleurs modèles de détection d’objets pour les apps iOS sur les puces Apple Silicon

Les appareils Android et les iPhone sont devenus indispensables au quotidien. On les utilise pour faire des achats, s’orienter, prendre des photos, scanner des produits et interagir avec des apps tout au long de la journée.

Avec la croissance rapide de l’intelligence artificielle, de nombreux smartphones intègrent désormais des fonctionnalités capables de comprendre les images et les vidéos capturées par la caméra de l’appareil. La capacité à exécuter efficacement ces fonctionnalités dépend en grande partie du matériel sous-jacent.

Par exemple, dans l’écosystème Apple, des appareils comme les iPhone, les iPad et les Mac sont équipés de puces Apple Silicon, notamment les séries A et M. Ces conceptions de système sur puce (SoC) intègrent des unités centrales de traitement (CPU), des unités de traitement graphique (GPU) et des accélérateurs dédiés au machine learning, ce qui permet l’inférence sur l’appareil pour les charges de travail d’IA.

Plus précisément, les capacités d’analyse d’images sont rendues possibles par la vision par ordinateur, un domaine de l’IA qui permet aux machines d’interpréter et de comprendre les informations visuelles issues d’images et de vidéos grâce à des tâches comme la détection d’objets.

Concrètement, les modèles de détection d’objets analysent les images et identifient les objets en traçant des boîtes englobantes autour d’eux. Ces modèles peuvent être optimisés pour fonctionner efficacement sur du matériel mobile, comme les puces Apple Silicon, et permettre ainsi une analyse visuelle en temps réel directement sur l’appareil iOS.

Fig. 1. Exemple de détection d’objets, avec les objets identifiés par des boîtes englobantes. (Source)

Dans cet article, nous allons explorer certains des meilleurs modèles de détection d’objets pour créer des apps iOS rapides et fonctionnant en temps réel. C’est parti !

Fonctionnement des détecteurs d’objets sur les appareils iOS#

La détection d’objets aide les apps à reconnaître et à localiser les objets présents dans une image. Lorsqu’une app traite une image d’entrée, un modèle de détection d’objets peut analyser la scène et identifier différents objets en plaçant des boîtes englobantes autour d’eux et en leur attribuant des étiquettes.

La plupart des systèmes de détection d’objets reposent sur des réseaux neuronaux capables de reconnaître des motifs dans les données d’entraînement. Pour les tâches liées aux images, ces modèles apprennent des représentations visuelles en analysant les informations au niveau des pixels de grands jeux de données d’entraînement.

Les réseaux neuronaux convolutifs (CNN) sont souvent utilisés comme backbone des modèles de détection d’objets. Les CNN sont très performants pour les prédictions d’images, car ils apprennent des caractéristiques visuelles hiérarchiques comme les contours, les formes et les textures, qui aident le modèle à reconnaître les objets dans une scène.

Les chercheurs étudient également des architectures basées sur les Transformer pour les tâches de vision par ordinateur. Ces modèles analysent les relations entre les différentes régions d’une image et capturent des informations contextuelles plus larges à travers la scène.

Au-delà du type d’architecture du modèle, l’efficacité est un facteur essentiel pour la détection d’objets sur les appareils iOS. Comme ces modèles s’exécutent directement sur des appareils mobiles, ils doivent traiter rapidement les images tout en utilisant des ressources de calcul limitées.

Les modèles efficaces maintiennent une faible latence et prennent en charge la détection d’objets en temps réel dans les apps mobiles, notamment lors de l’analyse d’un flux continu provenant de la caméra.

Qu’est-ce qui rend un modèle de détection d’objets adapté à iOS ?#

Avant de nous pencher sur certains des meilleurs modèles de détection d’objets pour iOS, prenons un peu de recul pour comprendre ce qui rend un modèle performant dans les applications mobiles.

Le modèle idéal de détection d’objets pour une app iOS équilibre performances, efficacité et fiabilité. Voici quelques facteurs clés qui définissent un modèle performant pour un déploiement sur iOS :

• Faible latence : Le modèle doit traiter rapidement les images pour prendre en charge la détection d’objets en temps réel, en particulier pour les applications qui utilisent un flux continu provenant de la caméra.
• Taille de modèle optimisée : Les modèles compacts s’exécutent plus efficacement sur les appareils mobiles et nécessitent généralement moins de mémoire et de ressources de calcul.
• Précision de la détection : Une détection précise garantit que les objets sont correctement classés et que les boîtes englobantes restent précises dans différentes scènes, pour différentes tailles d’objets et dans diverses conditions d’éclairage.
• Stabilité de l’inférence : Un temps d’inférence constant entre les images est important pour les applications en temps réel. De grandes fluctuations du temps de traitement peuvent entraîner des images perdues ou une expérience caméra instable.
• Empreinte mémoire : La quantité de RAM requise pendant l’inférence influe sur la fluidité d’exécution d’un modèle parallèlement aux autres processus de l’app sur les appareils iOS.

Les meilleurs modèles de détection d’objets pour iOS#

Examinons maintenant certains des modèles de détection d’objets les plus utilisés sur les appareils iOS.

1. Modèles YOLO d’Ultralytics#

Les modèles Ultralytics YOLO constituent une famille populaire de modèles de détection d’objets conçus pour les applications de vision par ordinateur en temps réel. Au fil des ans, Ultralytics a publié des modèles de vision comme Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 et le dernier modèle de pointe, Ultralytics YOLO26.

Chaque nouvelle version a apporté des améliorations en matière de précision de détection, d’efficacité du modèle et de performances à l’exécution. Ces mises à jour ont rendu les modèles Ultralytics YOLO de plus en plus adaptés aux appareils edge tels que les smartphones.

Fig. 2. YOLO26 peut être utilisé pour détecter plusieurs objets dans une scène réelle. (Source)

L’un des principaux avantages de l’utilisation des modèles Ultralytics YOLO pour les apps iOS est l’intégration de CoreML fournie par le package Python Ultralytics. Cette bibliothèque open source aide les développeurs à entraîner, tester et exporter les modèles Ultralytics YOLO avec un workflow simple.

Le package prend en charge l’exportation des modèles entraînés vers CoreML, le format de machine learning d’Apple utilisé pour déployer des modèles sur les appareils iOS. Après l’exportation, le modèle CoreML peut être intégré à une app et s’exécuter directement sur l’appareil à l’aide de matériel comme le CPU, le GPU et l’Apple Neural Engine.

Fig. 3. CoreML est le framework d’Apple pour intégrer et exécuter des modèles d’IA dans les apps. (Source)

Cela permet aux développeurs d’intégrer facilement la détection d’objets en temps réel dans les apps iOS tout en conservant l’inférence du modèle sur l’appareil.

Options de déploiement des modèles Ultralytics YOLO sur Apple Silicon#

Au-delà des modèles eux-mêmes, l’écosystème Ultralytics offre différentes options qui facilitent le déploiement des modèles YOLO sur les puces Apple Silicon.

Par exemple, Ultralytics a récemment lancé Ultralytics Platform, qui réunit la gestion des jeux de données, l’entraînement, la validation et le déploiement des modèles dans un environnement unique. Ce workflow unifié réduit le besoin de recourir à plusieurs outils et aide à simplifier le passage de l’expérimentation aux applications réelles.

Dans le cadre de la plateforme, les modèles entraînés peuvent être exportés vers plusieurs formats, notamment CoreML pour les appareils Apple. Il est ainsi possible d’exporter un modèle Ultralytics YOLO pour l’inférence sur l’appareil en quelques clics seulement.

En plus des fonctionnalités d’exportation, Ultralytics fournit une implémentation open source en Swift (le langage de programmation d’Apple utilisé pour créer des apps iOS) pour iOS. Elle inclut une app YOLO pour iOS prête à l’emploi, écrite en Swift, qui montre comment intégrer et exécuter des modèles CoreML à partir du flux de la caméra pour effectuer une détection d’objets en temps réel.

Avantages supplémentaires des modèles Ultralytics YOLO#

Voici d’autres caractéristiques clés qui font des modèles Ultralytics YOLO une excellente option pour créer des applications iOS :

• Prise en charge de nombreuses tâches de vision : En plus de la détection d’objets, les modèles Ultralytics YOLO peuvent être utilisés pour la segmentation d’instances, l’estimation de pose, le suivi d’objets, la détection par boîte englobante orientée (OBB) et la classification d’images.
• Plusieurs tailles de modèles : Ultralytics propose différentes variantes de modèles (nano, small, medium, large et extra-large, par exemple), ce qui permet aux développeurs de choisir une version adaptée aux contraintes de performances des appareils mobiles.
• Modèles préentraînés : Les modèles Ultralytics YOLO sont disponibles sous forme de modèles préentraînés, utilisables immédiatement ou affinables pour des tâches spécifiques, ce qui réduit le temps de développement.

2. EfficientDet#

EfficientDet est une architecture de détection d’objets présentée par des chercheurs de Google en 2019. Elle a été conçue pour équilibrer la précision de détection et l’efficacité de calcul, ce qui la rend adaptée aux environnements disposant de ressources limitées.

Une idée centrale d’EfficientDet est une méthode de mise à l’échelle appelée mise à l’échelle composée. Au lieu d’augmenter une seule partie du modèle, comme la profondeur du réseau ou la résolution des images, cette approche met à l’échelle plusieurs composants de l’architecture simultanément.

En ajustant ces éléments simultanément, le modèle conserve des performances stables, qu’il soit configuré pour une haute précision ou optimisé pour des déploiements légers.

L’architecture est disponible en plusieurs variantes, d’EfficientDet-D0 à EfficientDet-D7. Les modèles plus petits sont conçus pour une inférence plus rapide et une utilisation moindre des ressources, tandis que les versions plus grandes visent une précision de détection supérieure.

3. MobileNet SSD#

MobileNet SSD est un modèle léger de détection d’objets conçu pour fonctionner efficacement sur les appareils mobiles et edge. Il a gagné en popularité autour de 2017.

Le modèle combine le backbone MobileNet, qui privilégie l’extraction efficace de caractéristiques, avec l’approche SSD (détecteur à passage unique) pour détecter les objets. La méthode SSD détecte les objets et génère les boîtes englobantes en un seul passage avant dans le réseau.

Cette conception conserve un modèle relativement rapide et simple, ce qui est utile pour les applications qui ont besoin de résultats de détection rapides. MobileNet SSD est souvent utilisé lorsque la petite taille des modèles et la rapidité de l’inférence sont importantes.

L’architecture MobileNet réduit la quantité de calcul nécessaire, ce qui facilite l’exécution du modèle sur les appareils disposant d’une puissance de traitement limitée. Même si MobileNet SSD n’atteint pas forcément le même niveau de précision que certaines architectures de détection plus récentes, il reste performant pour de nombreuses tâches courantes de détection d’objets.

4. CenterNet#

CenterNet est un modèle de détection d’objets qui identifie les objets en prédisant leurs points centraux. Il a été présenté en 2019.

Au lieu de générer de nombreuses régions candidates, le modèle détecte le centre d’un objet, puis prédit la taille de la boîte englobante qui l’entoure. Cette approche simplifie le pipeline de détection et réduit le nombre d’étapes nécessaires pendant l’inférence.

Fig. 4. Vue d’ensemble des étapes de détection d’objets dans CenterNet (Source)

CenterNet peut être utilisé pour des tâches de détection en temps réel et est connu pour son architecture relativement simple par rapport à certains détecteurs multi-étapes. Des variantes comme CenterNet avec des backbones ResNet sont couramment utilisées dans différentes applications de vision par ordinateur.

Sa conception efficace rend CenterNet adapté aux systèmes qui nécessitent une détection d’objets rapide, notamment les applications exécutées sur des appareils iOS.

5. NanoDet#

NanoDet est un modèle léger de détection d’objets conçu pour les applications en temps réel sur les appareils edge et mobiles. Il a été présenté en 2020 dans le but de fournir une détection d’objets efficace tout en maintenant une taille de modèle et des besoins de calcul très faibles.

Le modèle utilise une architecture de détection à une seule étape, ce qui lui permet de prédire l’emplacement et les catégories des objets en un seul passage dans le réseau. Cette conception conserve un modèle rapide et adapté aux systèmes disposant de ressources matérielles limitées.

NanoDet utilise un backbone compact et une tête de détection optimisée afin de réduire le nombre de paramètres et de calculs nécessaires pendant l’inférence. Ces choix de conception contribuent à maintenir une précision de détection raisonnable tout en privilégiant la vitesse et l’efficacité.

Choisir le bon modèle de détection d’objets pour ton app iOS#

Le choix d’un modèle de détection d’objets pour une app iOS dépend souvent des exigences spécifiques du cas d’usage. Comme ces modèles s’exécutent directement sur des appareils tels que l’iPhone et l’iPad, plusieurs facteurs influencent l’option la plus adaptée.

Voici quelques éléments importants à prendre en compte :

• Efficacité énergétique : Les modèles qui consomment moins d’énergie contribuent à préserver l’autonomie de la batterie, ce qui est important pour les apps mobiles effectuant un traitement continu des images de la caméra.
• Prise en charge de l’optimisation des modèles : Certains modèles prennent en charge des techniques d’optimisation comme la quantification ou l’élagage, qui peuvent réduire la taille du modèle et améliorer les performances sur les appareils iOS.
• Compatibilité matérielle : L’architecture de modèle que tu choisis doit fonctionner efficacement sur le matériel iOS, notamment le CPU, le GPU et le Neural Engine d’Apple.
• Évolutivité : Certaines architectures proposent plusieurs tailles ou variantes de modèles, ce qui permet aux développeurs de choisir les versions correspondant le mieux aux exigences de performances et de matériel.

Points clés à retenir#

Les modèles de détection d’objets apportent des capacités avancées de vision par ordinateur aux apps mobiles intelligentes. En s’exécutant directement sur les appareils iOS, ces modèles permettent aux apps d’analyser en temps réel les images et les vidéos provenant de la caméra de l’appareil. En choisissant le bon modèle, les développeurs peuvent créer des apps mobiles réactives fondées sur la vision, offrant des performances fiables en temps réel.

Rejoins notre communauté grandissante et consulte notre dépôt GitHub pour accéder à des ressources pratiques sur l’IA. Pour créer dès aujourd’hui avec la vision par IA, découvre nos options de licence. Découvre comment l’IA dans l’agriculture transforme l’agriculture et comment la vision par IA en robotique façonne l’avenir en consultant nos pages de solutions.