CPU

Une unité centrale (CPU) est le processeur généraliste qui exécute le système d’exploitation et les programmes d’un ordinateur. Elle exécute les instructions sur un petit nombre de cœurs puissants, chacun conçu pour traiter rapidement un flux d’instructions, grâce à de grandes mémoires cache, à la prédiction de branchement et à l’exécution dans le désordre, qui accélèrent le code complexe comportant des branchements. Dans les systèmes d’intelligence artificielle (AI), le CPU charge et décode les données, applique l’augmentation des données, alimente les GPU et d’autres accélérateurs, et gère les étapes autour d’un modèle, comme le redimensionnement des images avant l’inférence et la suppression des non-maxima après la détection d’objets. Il exécute aussi le modèle lui-même lorsqu’aucun accélérateur n’est disponible ou que son coût ne se justifie pas, des ordinateurs portables et fonctions cloud au Raspberry Pi. La latence d’inférence du CPU est donc un objectif de conception essentiel pour les modèles d’IA en périphérie.

Fonctionnement des réseaux neuronaux sur les CPU#

Un réseau neuronal passe l’essentiel de son temps à multiplier des matrices, et les CPU accélèrent ce travail de trois façons. Plusieurs cœurs, de 4 sur une petite carte à plus de 100 sur une puce serveur, traitent en parallèle différentes parties d’un lot ou d’une couche. Dans chaque cœur, les unités SIMD (instruction unique, données multiples) appliquent une instruction à plusieurs nombres à la fois : AVX2 et AVX-512 sur les puces x86 d’Intel et AMD, et NEON sur les puces Arm, comme celles des téléphones, des Mac équipés de puces Apple et des cartes Raspberry Pi. L’extension SVE, plus large, est présente sur les puces Arm serveur plus récentes. Les puces récentes ajoutent des unités matricielles, comme les extensions matricielles avancées (AMX) d’Intel dans les processeurs serveur Xeon depuis 2023 et l’extension matricielle évolutive (SME) d’Arm. Ces unités multiplient de petites tuiles de valeurs BF16 ou INT8 par instruction.

Le débit des CPU reste très inférieur à celui des GPU, car un CPU consacre la surface de sa puce aux mémoires cache et à la logique de contrôle pour accélérer les performances sur un seul thread, plutôt qu’à des milliers d’unités de calcul. De plus, il lit les poids depuis la mémoire système ordinaire, dont la bande passante est bien inférieure à celle d’un GPU. Les moteurs d’inférence réduisent en partie l’écart : ONNX Runtime, OpenVINO d’Intel et NCNN de Tencent fusionnent les couches, choisissent les noyaux les plus rapides pour le jeu d’instructions détecté et exécutent des modèles quantifiés en INT8, qui déplacent un quart des données nécessaires aux poids FP32. Le choix d’un moteur et d’une précision pour un déploiement sur CPU dépend généralement du matériel :

Ultralytics a conçu YOLO26 pour ce type de matériel ; YOLO26n s’exécute jusqu’à 43 % plus vite que YOLO11n en inférence CPU ONNX sur un CPU Intel Xeon, tandis que l’exportation OpenVINO accélère l’inférence CPU jusqu’à 3 fois. Ce code exécute YOLO26 sur le CPU, l’exporte vers OpenVINO, puis lance le modèle exporté :

from ultralytics import YOLO

# Exécute le plus petit modèle de détection YOLO26 sur le CPU, même si un GPU est présent
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")
print(results[0].speed)  # millisecondes pour le prétraitement, l’inférence et le post-traitement

# Exporte au format OpenVINO et exécute le modèle exporté sur le même CPU
path = model.export(format="openvino")
ov_model = YOLO(path)
results = ov_model.predict("https://ultralytics.com/images/bus.jpg", device="cpu")
print(results[0].speed)

Chaque dictionnaire speed répartit le temps consacré à une image entre le prétraitement, l’inférence et le post-traitement. Les deux affichages comparent donc les temps d’inférence PyTorch et OpenVINO sur la machine qui exécute le code.

CPU, GPU, TPU et NPU : comparaison#

• CPU : Quelques cœurs puissants pour le code généraliste comportant des branchements. Chaque ordinateur en possède un, et il exécute n’importe quel modèle sans matériel supplémentaire, avec un débit inférieur à celui des accélérateurs ci-dessous.
• GPU : Des milliers de cœurs plus simples, des Tensor Cores pour les calculs matriciels et une mémoire à bande passante élevée. Les GPU sont le matériel standard pour l’entraînement et l’inférence à haut débit.
• TPU : Puce spécialisée de Google, conçue autour de grandes unités de multiplication matricielle. Elle est disponible dans Google Cloud et, sous la forme d’Edge TPU, dans de petits modules d’inférence.
• NPU : Accélérateur de réseau neuronal à faible consommation intégré aux puces de téléphones, d’ordinateurs portables et de systèmes embarqués. Les puces Intel Core Ultra, AMD Ryzen AI, Qualcomm Snapdragon et Apple série M combinent des cœurs CPU, un GPU et un NPU dans un même processeur.

Applications concrètes#

• Pipelines de données d’entraînement : Pendant l’entraînement sur GPU, les processus de travail du CPU lisent les images sur le disque, les décodent, les redimensionnent et les augmentent, puis constituent les lots. Si le CPU manque de cœurs, le GPU, pourtant coûteux, attend les données.
• Caméras intelligentes et appareils en périphérie : Les sonnettes, les capteurs de vente au détail et les caméras industrielles exécutent de petits modèles de détection sur leurs propres processeurs. La vidéo reste ainsi sur l’appareil et seuls les avertissements en sortent.
• Inférence sans serveur et dans le cloud : Les fonctions cloud et les points de terminaison à faible trafic s’exécutent souvent sur des instances uniquement équipées d’un CPU, qui démarrent rapidement et coûtent moins cher que la réservation d’un GPU.
• Grands modèles de langage locaux : Des projets comme llama.cpp exécutent des modèles GGUF quantifiés sur les CPU d’ordinateurs portables. La vitesse de génération dépend principalement de la rapidité avec laquelle la mémoire peut fournir les poids pour chaque jeton.