Glossar

Kreuzvalidierung

Entdecken Sie die Möglichkeiten der Kreuzvalidierung beim maschinellen Lernen, um die Modellgenauigkeit zu verbessern, eine Überanpassung zu verhindern und eine robuste Leistung zu gewährleisten.

Die Kreuzvalidierung ist eine wichtige statistische Technik, die beim maschinellen Lernen (ML) eingesetzt wird, um zu beurteilen, wie gut ein Modell auf einen unabhängigen Datensatz verallgemeinert werden kann. Anstelle einer einzigen Aufteilung der Daten in einen Trainings- und einen Testdatensatz werden bei der Kreuzvalidierung die Daten in mehrere Teilmengen oder "Foldings" unterteilt. Das Modell wird iterativ auf einigen Falten trainiert und auf den verbleibenden Falten bewertet. Dieses Verfahren liefert eine zuverlässigere Schätzung der Leistung des Modells bei ungesehenen Daten als eine einfache Aufteilung in Trainings- und Testdaten, wodurch das Risiko einer Überanpassung, bei der ein Modell die Trainingsdaten einschließlich des Rauschens zu gut erlernt, erheblich verringert wird.

Wie funktioniert die Kreuzvalidierung?

Die am häufigsten verwendete Methode ist die K-Fold Cross-Validation. Das Verfahren umfasst die folgenden Schritte:

  1. Mischen und Teilen: Der gesamte Datensatz wird nach dem Zufallsprinzip gemischt und in "K" gleich große Foldings (Teilmengen) unterteilt.
  2. Iteratives Training und Validierung: Das Modell wird K-mal trainiert. In jeder Iteration "i" (von 1 bis K):
  3. Leistungsaggregation: Die in jeder der K Iterationen aufgezeichnete Leistungsmetrik wird gemittelt, um eine einzige, robustere Schätzung der Generalisierungsfähigkeit des Modells zu erhalten.

Viele populäre ML-Bibliotheken, wie Scikit-learn, bieten effiziente Implementierungen verschiedener Cross-Validation-Strategien, einschließlich Stratified K-Fold (wichtig für unausgewogene Datensätze) und Leave-One-Out CV.

Warum eine Kreuzvalidierung?

Die Kreuzvalidierung ist aus mehreren Gründen ein Eckpfeiler einer zuverlässigen Modellbewertung:

  • Zuverlässigere Leistungseinschätzungen: Durch die Mittelung der Ergebnisse über mehrere Validierungssätze verringert CV die mit einer einzigen Zug/Test-Aufteilung verbundene Varianz und liefert ein stabileres Maß dafür, wie das Modell in der Praxis abschneiden könnte. Dies fördert die Reproduzierbarkeit in der Forschung.
  • Effiziente Datenverwendung: Es ermöglicht eine bessere Nutzung begrenzter Datensätze, da jeder Datenpunkt sowohl als Trainings- als auch als Validierungsdaten für die verschiedenen Foldings dient. Dies ist besonders vorteilhaft, wenn die Datenerfassung teuer oder schwierig ist.
  • Erkennung von Overfitting/Underfitting: Es hilft, Modelle zu identifizieren, die zu komplex (Overfitting) oder zu einfach(Underfitting) sind, indem es Diskrepanzen zwischen der Trainingsleistung und der durchschnittlichen Validierungsleistung aufdeckt.
  • Robuste Abstimmung der Hyperparameter: CV bietet eine zuverlässigere Grundlage für die Auswahl optimaler Hyperparameter. Verschiedene Hyperparametersätze können auf der Grundlage ihrer durchschnittlichen kreuzvalidierten Leistung bewertet werden, was zu Modellen mit besserer Generalisierung führt. Ultralytics bietet Tools für das Hyperparameter-Tuning, die CV-Prinzipien einbeziehen können.

Kreuzvalidierung vs. einfache Train/Validierung Aufteilung

Bei einer einfachen Aufteilung in Training und Validierung werden die Daten einmal geteilt: ein Teil für das Training, einer für die Validierung. Dies ist zwar einfach zu implementieren, hat aber den großen Nachteil, dass die Leistungsbewertung stark davon abhängt, welche Datenpunkte zufällig in die Validierungsmenge fallen. Ein besonders "leichter" oder "schwerer" Validierungssatz kann zu übermäßig optimistischen oder pessimistischen Leistungsschätzungen führen.

Die Kreuzvalidierung überwindet dieses Problem, indem sie systematisch verschiedene Teilmengen für die Validierung verwendet und so sicherstellt, dass jeder Datenpunkt genau einmal zum Bewertungsprozess beiträgt. Dies führt zu einer stabileren und zuverlässigeren Bewertung der Modellrobustheit. Es ist wichtig zu beachten, dass ein endgültiger Testdatensatz, der sowohl beim Training als auch bei der CV-basierten Abstimmung nicht gesehen wird, für die endgültige Bewertung des gewählten Modells reserviert werden sollte. Ultralytics bietet eine detaillierte Anleitung zur Implementierung der K-Fold Cross Validation mit Ultralytics YOLO.

Anwendungen in der realen Welt

Die Kreuzvalidierung ist für den Aufbau zuverlässiger KI-Systeme in verschiedenen Bereichen unerlässlich:

  1. Medizinische Bildanalyse: Bei der Entwicklung eines Convolutional Neural Network (CNN) für die medizinische Bildanalyse , beispielsweise zum Erkennen von Tumoren in Gehirnscans unter Verwendung von Datensätzen wie dem Brain Tumor-Datensatz , wird CV verwendet, um die diagnostische Genauigkeit und Generalisierung des Modells über verschiedene Patientendaten hinweg streng zu bewerten, bevor klinische Tests in Betracht gezogen oder eine behördliche Genehmigung (z. B. von der FDA) eingeholt wird.
  2. Autonome Fahrzeuge: Bei Objekterkennungsmodellen wie Ultralytics YOLO, die in autonomen Fahrzeugen eingesetzt werden, hilft CV, eine zuverlässige Leistung bei der Erkennung von Fußgängern, Radfahrern und anderen Fahrzeugen unter verschiedenen Umgebungsbedingungen (Beleuchtung, Wetter, Straßentypen) zu gewährleisten, die häufig in komplexen Datensätzen wie Argoverse zu finden sind. Diese robuste Bewertung, die häufig anhand von Metriken wie der mittleren durchschnittlichen Präzision (mAP) gemessen wird, ist von entscheidender Bedeutung für den Einsatz von Modellen in sicherheitskritischen Systemen, wie sie in KI-Lösungen für die Automobilindustrie verwendet werden.

Andere Anwendungen umfassen die Bewertung von Modellen für die Bildsegmentierung, Aufgaben der natürlichen Sprachverarbeitung (NLP) wie die Stimmungsanalyse und die Risikobewertung bei der Finanzmodellierung. Plattformen wie Ultralytics HUB integrieren oder erleichtern häufig solche Bewertungstechniken, um den Entwicklungszyklus zu rationalisieren.

Werden Sie Mitglied der Ultralytics-Gemeinschaft

Beteiligen Sie sich an der Zukunft der KI. Vernetzen Sie sich, arbeiten Sie zusammen und wachsen Sie mit globalen Innovatoren

Jetzt beitreten
Link in die Zwischenablage kopiert