Meilleurs modèles de détection d'objets pour applications iOS sur puces Apple silicon

Les appareils Android et les iPhone sont devenus une nécessité quotidienne. On les utilise pour faire des achats, naviguer, prendre des photos, scanner des produits et interagir avec des applications tout au long de la journée.

Avec la croissance rapide de l'intelligence artificielle, de nombreux smartphones incluent désormais des fonctionnalités capables de comprendre les images et les vidéos capturées par l'appareil photo. La capacité à exécuter ces fonctionnalités efficacement dépend largement du matériel sous-jacent.

Par exemple, dans l'écosystème Apple, les appareils tels que les iPhone, les iPad et les Mac sont alimentés par des puces Apple Silicon, incluant les séries A et M. Ces conceptions de type système sur puce (SoC) intègrent des unités centrales (CPU), des unités de traitement graphique (GPU) et des accélérateurs dédiés au machine learning, permettant l'inférence sur l'appareil pour les charges de travail d'IA.

En particulier, les capacités d'analyse d'images sont rendues possibles grâce à la vision par ordinateur, un domaine de l'IA qui permet aux machines d'interpréter et de comprendre des informations visuelles à partir d'images et de vidéos en utilisant des tâches comme la détection d'objets.

Plus précisément, les modèles de détection d'objets analysent les images et identifient les objets en traçant des boîtes englobantes (bounding boxes) autour d'eux. Ces modèles peuvent être optimisés pour s'exécuter efficacement sur le matériel mobile, tel que les puces Apple Silicon, permettant une analyse visuelle en temps réel directement sur les appareils iOS.

Fig 1. Un exemple de détection d'objets, avec des objets identifiés par des boîtes englobantes. (Source)

Dans cet article, nous explorerons certains des meilleurs modèles de détection d'objets pour créer des applications iOS rapides et en temps réel. Commençons !

Link to this sectionComment fonctionnent les détecteurs d'objets sur les appareils iOS#

La détection d'objets aide les applications à reconnaître et à localiser des objets dans une image. Lorsqu'une application traite une image en entrée, un modèle de détection d'objets peut analyser la scène et identifier différents objets en plaçant des boîtes englobantes autour d'eux et en leur attribuant des étiquettes.

La plupart des systèmes de détection d'objets reposent sur des réseaux neuronaux capables de reconnaître des modèles dans les données d'entraînement. Pour les tâches d'image, ces modèles apprennent des représentations visuelles en analysant les informations au niveau des pixels à partir de grands jeux de données d'entraînement.

Les réseaux neuronaux convolutifs (CNN) sont souvent utilisés comme architecture de base pour les modèles de détection d'objets. Les CNN sont parfaits pour les prédictions d'images car ils apprennent des caractéristiques visuelles hiérarchiques telles que les bords, les formes et les textures, ce qui aide le modèle à reconnaître les objets au sein d'une scène.

Les chercheurs explorent également des architectures basées sur les Transformer pour les tâches de vision par ordinateur. Ces modèles analysent les relations entre différentes régions d'une image et capturent des informations contextuelles plus larges à travers la scène.

Au-delà du type d'architecture de modèle, l'efficacité est une considération cruciale pour la détection d'objets sur les appareils iOS. Comme ces modèles s'exécutent directement sur des appareils mobiles, ils doivent traiter les images rapidement tout en utilisant des ressources de calcul limitées.

Les modèles efficaces maintiennent une faible latence et prennent en charge la détection d'objets en temps réel dans les applications mobiles, surtout lors de l'analyse d'entrées vidéo continues par la caméra.

Link to this sectionQu'est-ce qui rend un modèle de détection d'objets bien adapté pour iOS ?#

Avant de plonger dans certains des meilleurs modèles de détection d'objets pour iOS, prenons un peu de recul pour comprendre ce qui rend un modèle excellent pour les applications mobiles.

Le modèle de détection d'objets idéal pour une application iOS équilibre performance, efficacité et fiabilité. Voici quelques facteurs clés qui définissent un modèle solide pour un déploiement sur iOS :

• Faible latence : Le modèle doit traiter les images rapidement pour prendre en charge la détection d'objets en temps réel, particulièrement pour les applications qui reposent sur une entrée continue par la caméra.
• Taille de modèle efficace : Les modèles compacts s'exécutent plus efficacement sur les appareils mobiles et nécessitent généralement moins de mémoire et de ressources de calcul.
• Précision de détection : Une détection précise garantit que les objets sont correctement classés et que les boîtes englobantes restent précises à travers différentes scènes, échelles d'objets et conditions d'éclairage.
• Stabilité de l'inférence : Un temps d'inférence cohérent entre les images est important pour les applications en temps réel. De grandes fluctuations dans le temps de traitement peuvent entraîner des pertes d'images ou des expériences caméra instables.
• Empreinte mémoire : La quantité de RAM requise pendant l'inférence affecte la fluidité avec laquelle un modèle s'exécute aux côtés d'autres processus d'application sur les appareils iOS.

Link to this sectionUn regard sur les meilleurs modèles de détection d'objets pour iOS#

Ensuite, examinons certains des modèles de détection d'objets les plus largement utilisés pour les appareils iOS.

Link to this sectionModèles Ultralytics YOLO#

Les modèles Ultralytics YOLO sont une famille populaire de modèles de détection d'objets conçus pour les applications de vision par ordinateur en temps réel. Au fil des ans, Ultralytics a publié des modèles de vision tels que Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11, et le tout dernier modèle de pointe, Ultralytics YOLO26.

Chaque nouvelle version a introduit des améliorations en matière de précision de détection, d'efficacité du modèle et de performance à l'exécution. Ces mises à jour ont rendu les modèles Ultralytics YOLO de plus en plus adaptés aux appareils de bord (edge devices) tels que les smartphones.

Fig 2. YOLO26 peut être utilisé pour détecter plusieurs objets dans une scène réelle. (Source)

L'un des principaux avantages de l'utilisation des modèles Ultralytics YOLO pour les applications iOS est l' intégration CoreML fournie via le paquet Python Ultralytics. Cette bibliothèque open-source aide les développeurs à entraîner, tester et exporter des modèles Ultralytics YOLO avec un flux de travail simple.

Le paquet prend en charge l'exportation de modèles entraînés vers CoreML, le format de machine learning d'Apple utilisé pour le déploiement de modèles sur les appareils iOS. Après l'exportation, le modèle CoreML peut être intégré dans une application et exécuté directement sur l'appareil en utilisant du matériel tel que le CPU, le GPU et l'Apple Neural Engine.

Fig 3. CoreML est le framework d'Apple pour intégrer et exécuter des modèles d'IA au sein des applications. (Source)

Cela permet aux développeurs d'intégrer facilement la détection d'objets en temps réel dans les applications iOS tout en conservant l'inférence du modèle sur l'appareil.

Link to this sectionOptions de déploiement pour les modèles Ultralytics YOLO sur Apple Silicon#

Au-delà des modèles eux-mêmes, l'écosystème Ultralytics offre une gamme d'options qui facilitent le déploiement des modèles YOLO sur les puces Apple Silicon.

Par exemple, Ultralytics a récemment introduit la plateforme Ultralytics, qui rassemble la gestion des jeux de données, l'entraînement de modèles, la validation et le déploiement dans un environnement unique. Ce flux de travail unifié réduit le besoin d'utiliser de multiples outils et aide à rationaliser le chemin de l'expérimentation vers les applications réelles.

Dans le cadre de la plateforme, les modèles entraînés peuvent être exportés vers plusieurs formats, y compris CoreML pour les appareils Apple. Cela rend possible l'exportation d'un modèle Ultralytics YOLO pour une inférence sur l'appareil en seulement quelques clics.

En plus des capacités d'exportation, Ultralytics fournit une implémentation Swift (le langage de programmation d'Apple utilisé pour créer des applications iOS) open-source pour iOS. Cela inclut une application iOS YOLO prête à l'emploi, écrite en Swift, qui démontre comment les modèles CoreML peuvent être intégrés, exécutés sur l'entrée de la caméra et utilisés pour la détection d'objets en temps réel.

Link to this sectionAvantages supplémentaires des modèles Ultralytics YOLO#

Voici quelques autres caractéristiques clés qui font des modèles Ultralytics YOLO une excellente option pour la création d'applications iOS :

• Prend en charge une gamme de tâches de vision : En plus de la détection d'objets, les modèles Ultralytics YOLO peuvent être utilisés pour la segmentation d'instance, l'estimation de pose, le suivi d'objets, la détection de boîtes englobantes orientées (OBB) et la classification d'images.
• Plusieurs tailles de modèle : Ultralytics propose différentes variantes de modèles (telles que nano, small, medium, large et extra-large), permettant aux développeurs de choisir une version adaptée aux contraintes de performance des appareils mobiles.
• Modèles pré-entraînés : Les modèles Ultralytics YOLO sont disponibles en tant que modèles pré-entraînés qui peuvent être utilisés tels quels ou affinés (fine-tuned) pour des tâches spécifiques, réduisant ainsi le temps de développement.

Link to this sectionEfficientDet#

EfficientDet est une architecture de détection d'objets introduite par des chercheurs de chez Google en 2019. Elle a été conçue pour équilibrer la précision de détection et l'efficacité de calcul, ce qui la rend adaptée aux environnements disposant de ressources limitées.

Une idée clé derrière EfficientDet est une méthode de mise à l'échelle connue sous le nom de mise à l'échelle composée (compound scaling). Au lieu d'augmenter seulement une partie du modèle, telle que la profondeur du réseau ou la résolution de l'image, cette approche met à l'échelle plusieurs composants de l'architecture ensemble.

En ajustant ces éléments simultanément, le modèle maintient des performances stables qu'il soit configuré pour une haute précision ou optimisé pour des déploiements légers.

L'architecture est disponible en plusieurs variantes, allant de EfficientDet-D0 à EfficientDet-D7. Les modèles plus petits sont conçus pour une inférence plus rapide et une utilisation moindre des ressources, tandis que les versions plus grandes se concentrent sur l'obtention d'une plus grande précision de détection.

Link to this sectionMobileNet SSD#

MobileNet SSD est un modèle de détection d'objets léger conçu pour s'exécuter efficacement sur des appareils mobiles et de bord. Il a gagné en popularité vers 2017.

Le modèle combine l'architecture de base MobileNet, qui se concentre sur l'extraction efficace des caractéristiques, avec l'approche SSD (Single Shot Detector) pour la détection d'objets. La méthode SSD détecte les objets et génère des boîtes englobantes en un seul passage avant.

Cette conception maintient le modèle relativement rapide et simple, ce qui est utile pour les applications qui ont besoin de résultats de détection rapides. MobileNet SSD est souvent utilisé dans des situations où les petites tailles de modèle et les vitesses d'inférence plus rapides sont importantes.

L'architecture MobileNet réduit la quantité de calcul nécessaire, facilitant l'exécution du modèle sur des appareils avec une puissance de traitement limitée. Bien que MobileNet SSD puisse ne pas atteindre le même niveau de précision que certaines architectures de détection plus récentes, il reste performant pour de nombreuses tâches courantes de détection d'objets.

Link to this sectionCenterNet#

CenterNet est un modèle de détection d'objets qui identifie les objets en prédisant leurs points centraux. Il a été introduit en 2019.

Au lieu de générer de nombreuses régions candidates, le modèle détecte le centre d'un objet puis prédit la taille de la boîte englobante autour de lui. Cette approche simplifie le pipeline de détection et réduit le nombre d'étapes impliquées lors de l'inférence.

Fig 4. Un aperçu des étapes de détection d'objets dans CenterNet (Source)

CenterNet peut être utilisé pour des tâches de détection en temps réel et est connu pour son architecture relativement simple par rapport à certains détecteurs à plusieurs étapes. Les variantes telles que CenterNet avec des architectures de base ResNet sont couramment utilisées dans différentes applications de vision par ordinateur.

Sa conception efficace rend CenterNet adapté aux systèmes qui ont besoin d'une détection d'objets rapide, y compris les applications s'exécutant sur des appareils iOS.

Link to this sectionNanoDet#

NanoDet est un modèle de détection d'objets léger conçu pour les applications en temps réel sur les appareils de bord et mobiles. Il a été introduit en 2020 avec l'objectif de fournir une détection d'objets efficace tout en maintenant la taille du modèle et les exigences de calcul à un niveau très bas.

Le modèle utilise une architecture de détection à un seul passage, lui permettant de prédire les emplacements et les catégories des objets en un seul passage à travers le réseau. Cette conception maintient le modèle rapide et adapté aux systèmes disposant de ressources matérielles limitées.

NanoDet utilise une architecture de base compacte et une tête de détection optimisée pour réduire le nombre de paramètres et de calculs requis pendant l'inférence. Ces choix de conception aident à maintenir une précision de détection raisonnable tout en donnant la priorité à la vitesse et à l'efficacité.

Link to this sectionChoisir le bon modèle de détection d'objets pour ton application iOS#

La sélection d'un modèle de détection d'objets pour une application iOS dépend souvent des exigences spécifiques du cas d'utilisation. Comme ces modèles s'exécutent directement sur des appareils tels que l'iPhone et l'iPad, plusieurs facteurs influencent l'option qui fonctionnera le mieux.

Voici quelques considérations importantes :

• Efficacité énergétique : Les modèles qui consomment moins d'énergie aident à préserver l'autonomie de la batterie, ce qui est important pour les applications mobiles qui effectuent un traitement continu par la caméra.
• Prise en charge de l' optimisation de modèle : Certains modèles prennent en charge des techniques d'optimisation comme la quantification ou l'élagage (pruning), qui peuvent réduire la taille du modèle et améliorer les performances sur les appareils iOS.
• Compatibilité matérielle : L'architecture de modèle que tu choisis doit s'exécuter efficacement sur le matériel iOS, y compris le CPU, le GPU et le Neural Engine d'Apple.
• Évolutivité : Certaines architectures offrent plusieurs tailles ou variantes de modèles, permettant aux développeurs de choisir les versions qui correspondent le mieux aux exigences de performance et de matériel.

Link to this sectionPoints clés#

Les modèles de détection d'objets apportent des capacités avancées de vision par ordinateur aux applications mobiles intelligentes. S'exécutant directement sur les appareils iOS, ces modèles permettent aux applications d'analyser en temps réel les images et les vidéos provenant de la caméra de l'appareil. En choisissant le bon modèle, les développeurs peuvent créer des applications mobiles réactives pilotées par la vision qui offrent des performances fiables en temps réel.

Rejoins notre communauté grandissante et explore notre dépôt GitHub pour des ressources pratiques sur l'IA. Pour construire avec l'IA visuelle dès aujourd'hui, explore nos options de licence. Apprends comment l'IA dans l'agriculture transforme l'exploitation agricole et comment l'IA visuelle dans la robotique façonne l'avenir en visitant nos pages de solutions.