Pruning

L'élagage est une technique stratégique d'optimisation de modèle utilisée pour réduire la taille et la complexité computationnelle des réseaux de neurones en supprimant les paramètres inutiles. Tout comme un jardinier taille les branches mortes ou trop envahissantes pour aider un arbre à prospérer, les algorithmes d'élagage identifient et éliminent les weights and biases redondants qui contribuent peu à la puissance prédictive d'un modèle. L'objectif principal est de créer un modèle « clairsemé » et compressé qui conserve une précision élevée tout en consommant beaucoup moins de mémoire et d'énergie. Cette réduction est essentielle pour améliorer la latence d'inférence, permettant aux architectures avancées de fonctionner efficacement sur du matériel aux ressources limitées comme les téléphones mobiles et les appareils embarqués.

Link to this sectionMécanismes et méthodologie#

Les modèles modernes de deep learning sont souvent sur-paramétrés, ce qui signifie qu'ils contiennent beaucoup plus de connexions que nécessaire pour résoudre une tâche spécifique. L'élagage exploite cela en supprimant les connexions dont les valeurs sont proches de zéro, en partant du principe qu'elles ont un impact négligeable sur la sortie. Une fois les paramètres supprimés, le modèle suit généralement un processus de fine-tuning, au cours duquel il est brièvement réentraîné pour ajuster les poids restants et récupérer toute perte de performance. Ce concept est étroitement lié à l'hypothèse du ticket de loterie, qui suggère que les grands réseaux contiennent des sous-réseaux plus petits et très efficaces capables d'atteindre une précision similaire.

Il existe deux catégories principales de stratégies d'élagage :

• Élagage non structuré : Cette méthode supprime les poids individuels en fonction de leur magnitude, indépendamment de leur emplacement. Bien qu'elle réduise efficacement le nombre total de paramètres, elle crée des matrices creuses irrégulières que les CPU et GPU standard peuvent avoir du mal à traiter efficacement sans logiciel spécialisé.
• Élagage structuré : Cette approche supprime des structures géométriques entières, telles que des neurones, des canaux ou des couches au sein d'un réseau de neurones convolutif (CNN). En préservant la structure matricielle, l'élagage structuré est hautement compatible avec les accélérateurs matériels standard, entraînant souvent des gains de vitesse immédiats pour l'inférence en temps réel.

Link to this sectionApplications concrètes#

L'élagage est indispensable pour permettre l'Edge AI dans divers secteurs où les ressources matérielles sont limitées :

1. Drones autonomes : Les véhicules aériens sans pilote utilisés pour la recherche et le sauvetage s'appuient sur la vision par ordinateur pour naviguer dans des environnements complexes. Les modèles d'object detection élagués permettent à ces appareils de traiter les flux vidéo localement en temps réel, évitant ainsi les problèmes de latence associés à la communication cloud.

2. Santé mobile : Les appareils médicaux portables pour l'analyse par ultrasons utilisent des modèles élagués pour détecter des anomalies directement sur l'appareil. Cela garantit la confidentialité des données des patients et permet des diagnostics sophistiqués dans les zones reculées sans accès à Internet.

Link to this sectionExemple d'implémentation#

Bien que les modèles de pointe comme YOLO26 soient conçus pour l'efficacité, les développeurs peuvent appliquer l'élagage pour optimiser davantage les couches à l'aide de bibliothèques comme PyTorch. L'exemple suivant montre comment appliquer un élagage non structuré à une couche convolutive.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

Link to this sectionÉlagage vs. techniques d'optimisation connexes#

Pour optimiser efficacement un modèle en vue de son déploiement, il est utile de distinguer l'élagage des autres stratégies :

• Quantification de modèle : Contrairement à l'élagage, qui supprime des connexions, la quantification réduit la précision des poids (par exemple, en convertissant des nombres à virgule flottante 32 bits en entiers 8 bits). Les deux techniques peuvent être utilisées conjointement pour maximiser l'efficacité sur les systèmes embarqués.
• Distillation de connaissances : Cela implique l'entraînement d'un modèle « étudiant » plus petit pour imiter le comportement d'un modèle « enseignant » plus grand. L'élagage modifie directement le modèle original, tandis que la distillation entraîne une nouvelle architecture compacte.

Pour une gestion complète du cycle de vie, y compris l'entraînement, l'annotation et le déploiement de modèles optimisés, tu peux tirer parti de l'Ultralytics Platform. Cela simplifie le flux de travail, de la gestion des jeux de données à l'exportation des modèles dans des formats compatibles avec le matériel comme ONNX ou TensorRT.