K-Nearest Neighbors (KNN)

K-Nearest Neighbors (KNN) est un algorithme robuste et intuitif utilisé dans le domaine de l'apprentissage supervisé pour des tâches de classification et de régression. Distingué par sa simplicité, le KNN est souvent classé comme un "apprenant paresseux" car il ne construit pas de modèle et n'apprend pas de paramètres pendant une phase d'entraînement. Au lieu de cela, il mémorise l'intégralité du jeu de données d'entraînement et n'effectue des calculs que lorsqu'une prédiction est demandée. Le principe fondamental de l'algorithme repose sur la similarité des caractéristiques : il suppose que les points de données ayant des attributs similaires existent à proximité les uns des autres au sein d'un espace de caractéristiques multidimensionnel.

Link to this sectionComment fonctionne l'algorithme#

Le mécanisme des K-Nearest Neighbors est piloté par des calculs de distance. Lorsqu'un nouveau point de requête est introduit, l'algorithme recherche dans le jeu de données stocké les 'K' échantillons d'entraînement les plus proches de la nouvelle entrée.

1. Mesure de distance : Le système calcule la distance entre le point de requête et tous les autres points de la base de données. La mesure la plus courante est la distance euclidienne, qui mesure la distance en ligne droite entre les points. D'autres mesures comme la distance de Manhattan (géométrie du taxi) ou la distance de Minkowski peuvent être utilisées selon le type de données.

2. Sélection des voisins : Après avoir calculé les distances, l'algorithme les trie et identifie les 'K' entrées les plus proches.

3. Prise de décision : - Pour la classification : L'algorithme utilise un système de "vote majoritaire". L'étiquette de classe qui apparaît le plus fréquemment parmi les K voisins est assignée au point de requête. Ceci est largement utilisé dans les tâches de base de classification d'images. - Pour la régression : La prédiction est calculée en faisant la moyenne des valeurs des K voisins les plus proches pour estimer une variable continue.

Link to this sectionChoisir le bon 'K'#

La sélection de la valeur optimale pour 'K' est une étape critique dans le réglage des hyperparamètres. Le choix de K influence significativement les performances du modèle et sa capacité à généraliser sur de nouvelles données.

• Faible valeur de K : Un petit K (par exemple, K=1) rend le modèle très sensible au bruit et aux valeurs aberrantes dans les données, ce qui peut conduire à un surapprentissage.
• Valeur élevée de K : Un grand K lisse les frontières de décision, réduisant l'effet du bruit mais pouvant brouiller des motifs distincts, ce qui résulte en un sous-apprentissage.

Link to this sectionApplications concrètes#

Malgré sa simplicité comparée aux réseaux de neurones profonds, le KNN reste très pertinent dans l'IA moderne, en particulier lorsqu'il est combiné avec des techniques avancées d'extraction de caractéristiques.

• Systèmes de recommandation : Le KNN facilite le filtrage collaboratif dans le streaming multimédia et le commerce électronique. En identifiant des utilisateurs ayant des historiques de visionnage ou des comportements d'achat similaires (voisins), les plateformes peuvent suggérer des produits qu'un utilisateur est susceptible d'apprécier en fonction des préférences de ses "plus proches voisins".
• Détection d'anomalies : En cybersécurité et en finance, le KNN est utilisé pour la détection d'anomalies. Les transactions ou activités réseau sont cartographiées dans un espace de caractéristiques ; tout nouveau point de données qui tombe loin des grappes denses d'activité "normale" est signalé comme une fraude potentielle ou une faille de sécurité.
• Recherche visuelle : Les moteurs de recherche vectorielle modernes s'appuient souvent sur des algorithmes d'Approximate Nearest Neighbor (ANN)—une variante optimisée du KNN—pour récupérer rapidement des images similaires basées sur des embeddings de haute dimension générés par des modèles comme YOLO26.

Link to this sectionDéfis et considérations#

Bien qu'efficace, le KNN fait face à la malédiction de la dimensionnalité. À mesure que le nombre de caractéristiques (dimensions) augmente, les points de données deviennent clairsemés et les mesures de distance perdent leur efficacité. De plus, comme il stocke toutes les données d'entraînement, le KNN peut être gourmand en mémoire et souffrir d'une latence d'inférence élevée sur de grands jeux de données. Pour résoudre ce problème, les praticiens prétraitent souvent les données en utilisant des techniques de réduction de dimensionnalité comme l'Analyse en Composantes Principales (PCA) ou utilisent des structures de données spécialisées comme les KD-Trees pour accélérer la recherche. Pour une mise à l'échelle à l'échelle de l'entreprise des jeux de données et de l'entraînement des modèles, l'utilisation de la plateforme Ultralytics peut aider à gérer les ressources de calcul requises pour le prétraitement de données complexes.

Link to this sectionDifférencier le KNN du K-Means#

Il est important de différencier les K-Nearest Neighbors du clustering K-Means, car leurs noms similaires causent souvent de la confusion.

• KNN est un algorithme d'apprentissage supervisé qui utilise des données étiquetées pour effectuer des prédictions.
• K-Means est un algorithme d'apprentissage non supervisé utilisé pour regrouper des données non étiquetées en grappes basées sur des similitudes structurelles.

Link to this sectionExemple d'implémentation#

L'extrait de code suivant démontre un flux de travail de classification KNN simple utilisant la bibliothèque populaire Scikit-learn. Dans un contexte de vision par ordinateur, les "caractéristiques" d'entrée seraient généralement extraites par un modèle d'apprentissage profond comme YOLO26 avant d'être transmises au classificateur KNN.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")