Edge AI

L'IA en périphérie consiste à exécuter des modèles d'intelligence artificielle (AI) sur les appareils qui produisent les données, ou à proximité, comme les téléphones, les caméras, les véhicules, les robots et les passerelles d'usine, plutôt que d'envoyer ces données vers un centre de données distant. Traiter une image de caméra ou un extrait audio à l'endroit où il est capturé évite l'aller-retour réseau, et les décisions sont prises en quelques millisecondes. L'appareil continue de fonctionner sans connexion, les entrées sensibles restent locales pour protéger la confidentialité des données et les vidéos brutes n'ont pas besoin d'être diffusées vers le cloud, ce qui économise de la bande passante. En contrepartie, les ressources en mémoire, en calcul et en énergie sont limitées, et il faut mettre à jour les modèles sur tout un parc d'appareils.

Fonctionnement de l’IA en périphérie#

Les modèles sont généralement entraînés dans le cloud sur des GPU, puis réduits et accélérés pour l'appareil cible. La quantification des modèles en FP16 ou en INT8, l'élagage des modèles et la distillation des connaissances les allègent, et l'export les convertit au format exécuté par un moteur d'inférence sur l'appareil, comme TensorRT sur le matériel NVIDIA, LiteRT sur Android, Core ML sur les appareils Apple ou NCNN sur les CPU ARM. L'appareil exécute ensuite l'inférence localement et n'envoie que les informations pertinentes, comme une alerte, un décompte ou un court extrait vidéo. Ces envois contribuent aussi à améliorer les modèles : les exemples difficiles collectés sur le terrain sont annotés, le modèle est réentraîné, puis sa nouvelle version est transmise aux appareils à distance.

Matériel pour l'IA en périphérie#

• Unités de traitement neuronal (NPUs) : accélérateurs dédiés intégrés à la plupart des puces actuelles de téléphone et d'ordinateur portable, comme le Neural Engine d'Apple et le NPU Hexagon de Qualcomm, qui exécutent des modèles quantifiés en respectant le budget énergétique d'un téléphone.
• NVIDIA Jetson : modules embarqués associant un CPU ARM à un GPU NVIDIA pour les robots, les drones et les caméras intelligentes qui nécessitent un débit de niveau GPU.
• Raspberry Pi : ordinateurs monocartes peu coûteux qui exécutent de petits modèles sur leur CPU ARM ou sur des cartes accélératrices complémentaires.
• Microcontrôleurs : la catégorie la plus compacte, où des modèles de quelques centaines de kilooctets fonctionnent avec une consommation de quelques milliwatts.

Déployer un modèle en périphérie#

Chaque catégorie d'appareil tire parti d'un format d'export différent. Sur Raspberry Pi, NCNN est le plus rapide des formats qu'Ultralytics évalue pour Ultralytics YOLO26. Il suffit d'exporter le modèle une fois, puis de charger le dossier exporté pour exécuter le même détecteur avec ce moteur :

from ultralytics import YOLO

# Charger le plus petit modèle de détection YOLO26
model = YOLO("yolo26n.pt")

# Exporter vers NCNN, un framework d'inférence optimisé pour les CPU ARM
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Exécuter l'inférence avec le modèle exporté, comme sur l'appareil
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

L'image enregistrée montre les détections calculées par le moteur NCNN. Les applications exécutées sur l'appareil sont souvent distribuées dans des conteneurs Docker, afin qu'une même image puisse fonctionner sur un parc de cartes identiques.

IA en périphérie et termes connexes#

• Edge computing : pratique plus générale consistant à traiter toutes sortes de données à proximité de leur source, du filtrage des relevés de capteurs à la mise en cache de contenu. L'IA en périphérie correspond à l'edge computing dont la charge de travail est un modèle d'apprentissage automatique.
• TinyML : catégorie la plus compacte de l'IA en périphérie, exécutée sur des microcontrôleurs disposant de quelques kilooctets de mémoire.
• Apprentissage fédéré : entraîne un modèle partagé sur de nombreux appareils en transmettant des mises à jour de poids plutôt que les données brutes. L'IA en périphérie désigne généralement l'inférence, tandis que l'apprentissage fédéré déplace l'entraînement vers ces mêmes appareils.

Applications de l'IA en périphérie#

• Véhicules autonomes : les voitures et les robots de livraison détectent à bord les piétons, les véhicules et les voies, car une connexion retardée ou interrompue ne doit pas retarder le freinage.
• Caméras intelligentes : les caméras de vente au détail, de circulation et de sécurité exécutent localement la détection d'objets et transmettent des décomptes ou des alertes plutôt qu'un flux vidéo continu.
• Inspection industrielle : les caméras des lignes de production rejettent les pièces défectueuses en quelques millisecondes, tandis que les capteurs de vibration des machines signalent les anomalies avant qu'elles n'entraînent des arrêts.
• Smartphones : les téléphones traitent les photos, transcrivent la parole et exécutent localement de petits modèles de langage, comme le modèle d'environ 3 milliards de paramètres utilisé par Apple Intelligence sur les appareils Apple et accessible aux applications par l'intermédiaire du framework Foundation Models d'Apple.