K-Nearest Neighbors (KNN)

K-Nearest Neighbors (KNN) ist ein robuster und intuitiver Algorithmus, der im Bereich des überwachten Lernens sowohl für Klassifizierungs- als auch für Regressionsaufgaben eingesetzt wird. KNN zeichnet sich durch seine Einfachheit aus und wird oft als „Lazy Learner“ bezeichnet, da es während der Trainingsphase weder ein Modell erstellt noch Parameter lernt. Stattdessen speichert es den gesamten Trainingsdatensatz und führt Berechnungen nur dann durch, wenn eine Vorhersage angefordert wird. Das Kernprinzip des Algorithmus beruht auf Merkmalsähnlichkeit: Es geht davon aus, dass Datenpunkte mit ähnlichen Attributen in einem mehrdimensionalen Merkmalsraum nah beieinander liegen.

Link to this sectionWie der Algorithmus funktioniert#

Der Mechanismus von K-Nearest Neighbors basiert auf Distanzberechnungen. Wenn ein neuer Abfragepunkt eingegeben wird, durchsucht der Algorithmus den gespeicherten Datensatz, um die „K“ Trainingsbeispiele zu finden, die dem neuen Input am nächsten liegen.

1. Distanzmessung: Das System berechnet die Distanz zwischen dem Abfragepunkt und jedem anderen Punkt in der Datenbank. Die gebräuchlichste Metrik ist die euklidische Distanz, welche die geradlinige Entfernung zwischen Punkten misst. Abhängig vom Datentyp können auch andere Metriken wie die Manhattan-Distanz (Taxicab-Geometrie) oder die Minkowski-Distanz verwendet werden.

2. Auswahl der Nachbarn: Nach der Berechnung der Distanzen sortiert der Algorithmus diese und identifiziert die top „K“ nächsten Einträge.

3. Entscheidungsfindung: - Für die Klassifizierung: Der Algorithmus verwendet ein „Mehrheitswahl“-System. Die Klassenbezeichnung, die unter den K Nachbarn am häufigsten vorkommt, wird dem Abfragepunkt zugewiesen. Dies wird häufig bei grundlegenden Aufgaben der Bildklassifizierung eingesetzt. - Für die Regression: Die Vorhersage wird durch Mittelwertbildung der Werte der K nächsten Nachbarn berechnet, um eine kontinuierliche Variable zu schätzen.

Link to this sectionDie Wahl des richtigen „K“#

Die Auswahl des optimalen Werts für „K“ ist ein kritischer Schritt bei der Hyperparameter-Optimierung. Die Wahl von K beeinflusst maßgeblich die Leistung des Modells und seine Fähigkeit, auf neue Daten zu generalisieren.

• Niedriger K-Wert: Ein kleines K (z. B. K=1) macht das Modell sehr empfindlich gegenüber Rauschen und Ausreißern in den Daten, was zu Overfitting führen kann.
• Hoher K-Wert: Ein großes K glättet die Entscheidungsgrenzen, was den Effekt von Rauschen reduziert, aber potenziell klare Muster verwischt, was zu Underfitting führt.

Link to this sectionPraxisanwendungen#

Trotz seiner Einfachheit im Vergleich zu tiefen neuronalen Netzen bleibt KNN in der modernen KI hochrelevant, insbesondere in Kombination mit fortschrittlichen Techniken zur Merkmalsextraktion.

• Empfehlungssysteme: KNN erleichtert das kollaborative Filtern beim Medien-Streaming und im E-Commerce. Durch das Identifizieren von Nutzern mit ähnlichen Sehgewohnheiten oder Kaufverhalten (Nachbarn) können Plattformen Produkte vorschlagen, die ein Nutzer wahrscheinlich mag, basierend auf den Präferenzen seiner „nächsten Nachbarn“.
• Anomalieerkennung: In der Cybersicherheit und im Finanzwesen wird KNN zur Anomalieerkennung verwendet. Transaktionen oder Netzwerkaktivitäten werden in einem Merkmalsraum abgebildet; jeder neue Datenpunkt, der weit von den dichten Clustern „normaler“ Aktivität entfernt liegt, wird als potenzieller Betrug oder Sicherheitsverletzung markiert.
• Visuelle Suche: Moderne Vektorsuchmaschinen stützen sich häufig auf Approximate Nearest Neighbor (ANN)-Algorithmen – eine optimierte Variante von KNN –, um ähnliche Bilder basierend auf hochdimensionalen Einbettungen schnell abzurufen, die von Modellen wie YOLO26 generiert wurden.

Link to this sectionHerausforderungen und Überlegungen#

Obwohl KNN effektiv ist, stößt es an den Fluch der Dimensionalität. Mit zunehmender Anzahl an Merkmalen (Dimensionen) werden Datenpunkte spärlicher und Distanzmetriken verlieren an Wirksamkeit. Da KNN zudem alle Trainingsdaten speichert, kann es speicherintensiv sein und unter hoher Inferenz-Latenz bei großen Datensätzen leiden. Um dies zu beheben, führen Anwender oft eine Vorverarbeitung der Daten mittels Dimensionsreduktion-Techniken wie Principal Component Analysis (PCA) durch oder nutzen spezialisierte Datenstrukturen wie KD-Trees, um die Suche zu beschleunigen. Für die Skalierung von Datensätzen und das Modelltraining auf Unternehmensebene kann die Nutzung der Ultralytics Platform dabei helfen, die für die Vorverarbeitung komplexer Daten erforderlichen Rechenressourcen zu verwalten.

Link to this sectionUnterscheidung von KNN und K-Means#

Es ist wichtig, K-Nearest Neighbors von K-Means-Clustering zu unterscheiden, da die ähnlichen Namen oft für Verwirrung sorgen.

• KNN ist ein überwachter Lernalgorithmus, der gelabelte Daten verwendet, um Vorhersagen zu treffen.
• K-Means ist ein Algorithmus des unüberwachten Lernens, der verwendet wird, um ungelabelte Daten basierend auf strukturellen Ähnlichkeiten in Clustern zu gruppieren.

Link to this sectionImplementierungsbeispiel#

Das folgende Code-Snippet demonstriert einen einfachen KNN-Klassifizierungs-Workflow unter Verwendung der populären Scikit-learn-Bibliothek. Im Kontext von Computer Vision würden die Eingabe-„Merkmale“ typischerweise durch ein Deep-Learning-Modell wie YOLO26 extrahiert werden, bevor sie an den KNN-Klassifikator übergeben werden.

from sklearn.neighbors import KNeighborsClassifier

# Simulated feature vectors (e.g., extracted from YOLO26) and labels
# Features: [Size, Redness], Labels: 0=Apple, 1=Orange
features = [[0.8, 0.9], [0.9, 0.8], [0.2, 0.3], [0.3, 0.2]]
labels = [0, 0, 1, 1]

# Initialize KNN with 3 neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(features, labels)

# Predict the class of a new object [Size=0.85, Redness=0.85]
prediction = knn.predict([[0.85, 0.85]])
print(f"Predicted Class: {prediction[0]} (0=Apple, 1=Orange)")