FLOPs

Les FLOPs, ou opérations en virgule flottante, sont une métrique fondamentale utilisée dans l'apprentissage automatique (ML) pour mesurer la complexité de calcul d'un modèle. Une opération en virgule flottante est tout calcul mathématique (comme l'addition, la soustraction, la multiplication ou la division) impliquant des nombres à virgule décimale, qui sont courants dans les réseaux neuronaux. Bien que le terme puisse techniquement faire référence aux opérations par seconde, dans le contexte de l'apprentissage profond, les FLOPs quantifient généralement le nombre total de ces opérations nécessaires pour un seul passage direct d'un modèle. Cette métrique fournit un moyen indépendant du matériel d'estimer l'intensité de calcul d'un modèle pendant l'inférence. Les nombres sont souvent si grands qu'ils sont exprimés en GigaFLOPs (GFLOPs), qui sont des milliards d'opérations, ou en TeraFLOPs (TFLOPs), des billions d'opérations.

Pourquoi les FLOPs sont-ils importants dans l'apprentissage automatique ?

Les FLOPs sont un indicateur essentiel de l'efficacité d'un modèle. Un nombre de FLOPs plus faible suggère généralement qu'un modèle sera plus rapide et nécessitera moins de puissance de calcul pour fonctionner. Ceci est particulièrement important pour les applications où les ressources sont limitées, comme dans l'IA en périphérie et sur les appareils mobiles. En analysant les FLOPs, les développeurs peuvent :

• Comparer les architectures de modèles : Lors du choix entre différents modèles, tels que ceux que l'on trouve dans nos pages de comparaison de modèles, les FLOP offrent un moyen standardisé d'évaluer l'efficacité computationnelle parallèlement à la précision.
• Optimiser pour le déploiement : Pour le déploiement de modèles sur du matériel tel qu'un Raspberry Pi ou un NVIDIA Jetson, la sélection d'un modèle avec un nombre de FLOP approprié est essentielle pour atteindre les niveaux de performance souhaités.
• Guider la conception du modèle : Les chercheurs qui développent de nouvelles architectures, comme celles de la série Ultralytics YOLO, considèrent souvent la minimisation des FLOP comme une contrainte de conception clé. Les techniques explorées dans des modèles comme EfficientNet se concentrent sur la réduction du coût de calcul sans sacrifier les performances.

Applications concrètes

Les FLOPs sont une métrique pratique utilisée quotidiennement dans le développement et le déploiement de solutions d'IA.

1. Applications de vision mobile : Un développeur créant une fonctionnalité de détection d'objets en temps réel pour une application pour smartphone doit choisir un modèle qui peut fonctionner rapidement sans vider la batterie. En comparant les FLOP des modèles légers comme une petite variante Ultralytics YOLO11 à d'autres, il peut sélectionner un modèle qui offre un bon équilibre entre la vitesse et la précision pour le CPU ou le GPU de l'appareil.

2. Véhicules autonomes : Dans la conduite autonome, les modèles de perception doivent traiter les flux de caméras avec une latence extrêmement faible. Les ingénieurs qui conçoivent ces systèmes analysent les FLOP de divers modèles pour s'assurer que l'architecture choisie peut fonctionner sur le matériel spécialisé du véhicule. Un modèle comme YOLO11 peut être préféré à un modèle plus complexe si ses FLOP inférieurs lui permettent de répondre aux exigences strictes de synchronisation pour un fonctionnement sûr.

FLOPs vs. Métriques associées

Il est important de distinguer les FLOPs des autres métriques courantes :

• Paramètres vs. FLOPs : Le nombre de poids du modèle (paramètres) indique la taille d'un modèle en termes de stockage de mémoire. Les FLOPs, d'autre part, mesurent le travail de calcul. Un modèle peut avoir un petit nombre de paramètres mais un nombre élevé de FLOPs si ces paramètres sont réutilisés plusieurs fois dans des opérations gourmandes en calcul.
• MACs vs. FLOPs : Les MACs, ou opérations de multiplication-accumulation, sont une opération courante dans les réseaux neuronaux. Un seul MAC est souvent considéré comme équivalent à deux FLOPs (une multiplication et une addition). Certains articles de recherche et cadres peuvent signaler le coût de calcul en MACs, ce qui représente environ la moitié de la valeur des FLOPs. Vous pouvez voir cette distinction dans des ressources comme Papers with Code.
• Latence vs. FLOPs : La latence d'inférence est le temps réel qu'il faut à un modèle pour faire une prédiction. Bien que les FLOPs fournissent une bonne estimation théorique, la latence réelle est influencée par des facteurs que les FLOPs ne capturent pas, tels que la bande passante de la mémoire, le parallélisme matériel et l'efficacité des bibliothèques logicielles comme PyTorch.

Limitations

Bien qu'utiles, les FLOPs ont des limites :

• Ils ne tiennent pas compte des coûts d'accès à la mémoire, qui peuvent constituer un goulot d'étranglement important.
• Ils ne capturent pas le degré de parallélisme possible dans les opérations.
• La performance réelle dépend fortement des optimisations spécifiques au matériel et de l'efficacité des bibliothèques logicielles sous-jacentes (cuDNN, Intel MKL).
• Certaines opérations (par exemple, les fonctions d'activation comme ReLU) ont un faible nombre de FLOP, mais peuvent quand même avoir un impact sur la latence.

Par conséquent, les FLOPs doivent être considérés avec d'autres mesures de performance, les paramètres et les benchmarks du monde réel pour une image complète de l'efficacité du modèle. Des outils comme Ultralytics HUB peuvent aider à gérer les modèles et à suivre divers aspects de la performance pendant le développement et le déploiement.