Machine à vecteurs de support (SVM)

Le Support Vector Machine (SVM) est un algorithme populaire et puissant d'apprentissage automatique supervisé (ML) utilisé principalement pour les tâches de classification, bien qu'il soit également efficace pour la régression (Support Vector Regression - SVR) et la détection des valeurs aberrantes. Développés dans les années 1990, les SVM, détaillés sur Wikipédia, fonctionnent en trouvant une frontière optimale, appelée hyperplan, qui sépare au mieux les points de données appartenant à différentes classes dans un espace à haute dimension. L'idée principale est de maximiser la marge - la distance entre l'hyperplan et les points de données les plus proches (vecteurs de support) de chaque classe - ce qui conduit souvent à de bonnes performances de généralisation sur des données non vues.

Comment fonctionne le Svm

Le principe de base du SVM est de trouver l'hyperplan idéal pour diviser un ensemble de données. Pour les données qui peuvent être séparées par une ligne droite ou un plan plat (données linéairement séparables), le SVM identifie l'hyperplan qui crée le plus grand écart possible entre les classes. Les points des données d'apprentissage les plus proches de cet hyperplan, qui sont essentiels pour définir sa position et son orientation, sont appelés vecteurs de support. Cette focalisation sur les points les plus difficiles près de la limite rend les SVM efficaces en termes de mémoire, car seuls ces vecteurs de soutien sont nécessaires pour définir le modèle après la formation.

Pour les ensembles de données où les classes ne peuvent pas être séparées par une frontière linéaire (données non linéairement séparables), les SVM utilisent une technique appelée l'astuce du noyau. Cette méthode astucieuse permet aux SVM de cartographier les données d'origine dans un espace de dimension supérieure où une séparation linéaire pourrait être possible, sans calculer explicitement les coordonnées dans ce nouvel espace. Les fonctions de noyau les plus courantes sont les suivantes :

• Linéaire : Pour les données linéairement séparables.
• Polynomial : Met les données en correspondance avec des dimensions supérieures à l'aide de fonctions polynomiales.
• Fonction de base radiale (RBF): Un choix populaire pour les relations complexes et non linéaires.
• Sigmoïde : Similaire à la fonction d'activation utilisée dans les réseaux neuronaux (NN).

Le choix du noyau et de ses paramètres est crucial et nécessite souvent un réglage minutieux des hyperparamètres.

Pertinence et applications

Les SVM restent pertinents malgré l'essor du Deep Learning (DL), en particulier dans les scénarios avec des données de haute dimension (beaucoup de caractéristiques) mais des échantillons d'entraînement limités. Ils sont connus pour leurs garanties théoriques et leur robustesse, en particulier lorsqu'il existe une marge de séparation claire. Historiquement, les SVM combinés à des extracteurs de caractéristiques comme l'Histogramme des gradients orientés (HOG) étaient à la pointe de la technologie pour des tâches comme la détection d'objets, comme le note l'évolution de la détection d'objets.

Les applications les plus courantes sont les suivantes :

• Classification des images: Catégorisation des images en fonction de leur contenu (par exemple, distinction entre différents types de fleurs ou d'animaux). Les SVM peuvent être efficaces lorsqu'ils sont utilisés avec des caractéristiques artisanales extraites des images, en particulier sur des ensembles de données de taille modérée.
• Catégorisation de texte: Classer des documents textuels dans des catégories prédéfinies, comme la détection des courriers électroniques indésirables ou l'analyse du sentiment des avis des clients. Les SVM gèrent bien les données textuelles à haute dimension (comme les caractéristiques TF).
• Bioinformatique: Utilisée pour des tâches telles que la classification des protéines ou le diagnostic du cancer basé sur les données d'expression génétique, où le nombre de caractéristiques peut être très important par rapport au nombre d'échantillons.
• Reconnaissance faciale: Identifier ou vérifier des personnes en fonction des caractéristiques de leur visage, souvent dans le cadre d'un système plus large.

Avantages et limites

Avantages :

• Efficace en haute dimension : Donne de bons résultats même lorsque le nombre de caractéristiques est supérieur au nombre d'échantillons.
• Efficace en termes de mémoire : N'utilise qu'un sous-ensemble de points d'entraînement (vecteurs de support) dans la fonction de décision.
• Polyvalent : Différentes fonctions de noyau peuvent être spécifiées pour la fonction de décision, ce qui permet une certaine souplesse dans le traitement de divers types de données.
• Bonne généralisation : L'objectif de maximisation de la marge conduit souvent à des modèles ayant une bonne précision sur des données inédites.

Limites :

• Intensif en termes de calcul : La formation peut être lente sur de très grands ensembles de données.
• Sensibilité du noyau et des paramètres : Les performances dépendent fortement du choix du noyau et de ses paramètres (par exemple, C, gamma), ce qui nécessite un réglage minutieux.
• Mauvaises performances en cas de chevauchement des classes : Pas idéal si les classes de données se chevauchent de manière significative.
• Pas d'estimation directe des probabilités : Les SVM standard produisent des affectations de classe mais pas de scores de probabilité directs. Des techniques comme la mise à l'échelle de Platt sont nécessaires pour calibrer les résultats des SVM en probabilités.

Svm contre d'autres algorithmes

Par rapport à des algorithmes plus simples comme la régression logistique, les SVM visent à maximiser la marge plutôt que de simplement trouver une frontière de séparation, ce qui peut conduire à une meilleure généralisation. Contrairement aux méthodes arborescentes telles que les arbres de décision ou les forêts aléatoires, les SVM construisent un seul hyperplan optimal (éventuellement dans un espace à haute dimension). Alors que les modèles modernes d'apprentissage profond comme Ultralytics YOLO excellent dans l'extraction automatique de caractéristiques à partir de données brutes (comme les pixels en vision artificielle (CV)), les SVM nécessitent souvent une ingénierie des caractéristiques minutieuse, mais peuvent être exceptionnellement performants sur des ensembles de données plus petits ou des types spécifiques de données structurées où les caractéristiques sont bien définies. Les implémentations populaires comprennent LibSVM et le module SVM de scikit-learn. La formation et la gestion de ces modèles, ainsi que de divers autres, peuvent être rationalisées à l'aide de plateformes comme Ultralytics HUB, qui simplifie le cycle de vie des MLOps.