Support-Vektor-Maschine (SVM)

So funktionieren Svms

Der Algorithmus funktioniert, indem er jedes Datenelement als Punkt in einem n-dimensionalen Raum darstellt (wobei n die Anzahl der Merkmale ist). Die Klassifizierung wird dann durch die Suche nach der Hyperebene durchgeführt, die die beste Trennung zwischen den Klassen schafft.

• Hyperebene: Dies ist die Entscheidungsgrenze. Bei einem Datensatz mit zwei Merkmalen ist es eine Linie, bei drei Merkmalen eine Ebene. Bei mehr Merkmalen wird sie zu einer Hyperebene.
• Stützvektoren: Dies sind die Datenpunkte, die der Hyperebene am nächsten liegen. Sie sind von entscheidender Bedeutung, da sie den Rand definieren und ihr Entfernen die Position der Hyperebene verändern würde. Eine ausgezeichnete Visualisierung der Support-Vektoren finden Sie in den Stanford CS229 Vorlesungsunterlagen.
• Spielraum: Die Marge ist der Abstand zwischen den Support-Vektoren und der Hyperebene. Das Ziel der SVM ist es, die Hyperebene zu finden, die diese Marge maximiert und so eine möglichst robuste Trennung ermöglicht.
• Der Kernel-Trick: Für Daten, die nicht linear trennbar sind, verwenden SVMs eine Technik, die als Kernel-Trick bezeichnet wird. Bei dieser leistungsfähigen Methode werden die Daten in einen höherdimensionalen Raum transformiert, in dem ein linearer Separator gefunden werden kann, ohne dass die Koordinaten der Daten in diesem neuen Raum explizit berechnet werden müssen. Beliebte Kernel wie die Radial Basis Function (RBF) können sehr komplexe, nicht lineare Beziehungen verarbeiten. Weitere Einzelheiten finden Sie in einem Leitfaden zu SVM-Kerneln.

Anwendungen in der realen Welt

SVMs sind in vielen Bereichen wirksam, insbesondere bei Problemen mit hochdimensionalen Daten.

• Bioinformatik: In der Genomik und Proteomik werden SVMs zur Klassifizierung von Proteinen und zur Analyse von Genexpressionsdaten eingesetzt. Sie können zum Beispiel bei der Identifizierung von Krebs-Subtypen auf der Grundlage von Microarray-Daten helfen, eine Aufgabe, die Tausende von Merkmalen umfasst. Das macht sie zu einem unverzichtbaren Werkzeug der KI für das Gesundheitswesen.
• Bildklassifizierung: Vor der Dominanz der tiefen neuronalen Netze waren SVMs das leistungsstärkste Modell für die Bildklassifizierung. Sie wurden erfolgreich für Aufgaben wie die Erkennung handgeschriebener Ziffern in Datensätzen wie MNIST und die Objekterkennung in Caltech-101 eingesetzt.
• Klassifizierung von Text: Bei der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) sind SVMs für Aufgaben wie die Erkennung von Spam und die Analyse von Gefühlen geeignet. Sie können die hochdimensionalen Merkmalsräume, die durch Textvektorisierungsmethoden entstehen, effizient verwalten.

Svm Vs. andere Algorithmen

Im Vergleich zu einfacheren Algorithmen wie der logistischen Regression zielen SVMs darauf ab, den Spielraum zu maximieren, anstatt nur eine Trenngrenze zu finden, was zu einer besseren Verallgemeinerung führen kann. Im Gegensatz zu baumbasierten Methoden wie Entscheidungsbäumen oder Zufallsforsten konstruieren SVMs eine einzige optimale Hyperebene (möglicherweise in einem hochdimensionalen Raum). Während moderne Deep-Learning-Modelle wie Ultralytics YOLO bei der automatischen Merkmalsextraktion aus Rohdaten (wie Pixeln in der Computer Vision (CV)) brillieren, erfordern SVMs oft eine sorgfältige Merkmalstechnik, können aber bei kleineren Datensätzen oder bestimmten Arten von strukturierten Daten, bei denen die Merkmale gut definiert sind, außerordentlich gut funktionieren. Sie können viele solcher Datensätze im UCI Machine Learning Repository finden.

Beliebte Implementierungen sind LibSVM und das SVM-Modul in scikit-learn. Obwohl SVM normalerweise nicht der Kern moderner CV-Frameworks wie PyTorch oder TensorFlow ist, kann es in breitere Arbeitsabläufe integriert werden. Das Training und die Verwaltung solcher und anderer Modelle kann mit Plattformen wie Ultralytics HUB rationalisiert werden, die den MLOps-Lebenszyklus von der Datenbeschriftung bis zur Abstimmung der Hyperparameter und der endgültigen Modellbereitstellung vereinfachen.