Erkundung der ML-Experiment-Tracking-Integrationen von Ultralytics YOLOv8

Das Sammeln und Annotieren von Daten sowie das Trainieren von Modellen wie dem Ultralytics YOLOv8-Modell bilden den Kern jedes Computer Vision-Projekts. Oft musst du dein benutzerdefiniertes Modell mehrmals mit verschiedenen Parametern trainieren, um das optimalste Modell zu erstellen. Die Verwendung von Tools zum Tracking deiner Trainingsexperimente kann die Verwaltung deines Computer Vision-Projekts etwas erleichtern. Experiment-Tracking ist der Prozess, bei dem die Details jedes Trainingslaufs aufgezeichnet werden – wie die verwendeten Parameter, die erzielten Ergebnisse und alle Änderungen, die du im Laufe des Prozesses vorgenommen hast.

Abb. 1. Ein Bild, das zeigt, wie Experiment-Tracking in ein Computer Vision-Projekt passt.

Das Führen eines Protokolls dieser Details hilft dir, deine Ergebnisse zu reproduzieren, zu verstehen, was funktioniert und was nicht, und deine Modelle effektiver feinabzustimmen. Für Unternehmen hilft es, die Konsistenz über Teams hinweg zu wahren, die Zusammenarbeit zu fördern und einen klaren Audit-Trail bereitzustellen. Für Einzelpersonen geht es darum, eine klare und organisierte Dokumentation deiner Arbeit zu führen, die es dir ermöglicht, deinen Ansatz zu verfeinern und im Laufe der Zeit bessere Ergebnisse zu erzielen.

In diesem Artikel führen wir dich durch die verschiedenen Trainingsintegrationen, die zur Verwaltung und Überwachung deiner YOLOv8-Experimente verfügbar sind. Egal, ob du alleine oder als Teil eines größeren Teams arbeitest, das Verständnis und die Verwendung der richtigen Tracking-Tools können einen echten Unterschied für den Erfolg deiner YOLOv8-Projekte machen.

Link to this sectionMachine Learning Experiment-Tracking mit MLflow#

MLflow ist eine Open-Source-Plattform, die von Databricks entwickelt wurde und die Verwaltung des gesamten Machine-Learning-Lebenszyklus erleichtert. MLflow Tracking ist eine wesentliche Komponente von MLflow, die eine API und eine Benutzeroberfläche bietet, mit der Data Scientists und Ingenieure ihre Machine-Learning-Experimente protokollieren und visualisieren können. Es unterstützt mehrere Sprachen und Schnittstellen, einschließlich Python-, REST-, Java- und R-APIs.

MLflow Tracking lässt sich reibungslos in YOLOv8 integrieren, und du kannst wichtige Metriken wie Präzision, Recall und Loss direkt von deinen Modellen aus protokollieren. Das Einrichten von MLflow mit YOLOv8 ist unkompliziert und es gibt flexible Optionen: Du kannst das Standard-Localhost-Setup verwenden, dich mit verschiedenen Datenspeichern verbinden oder einen Remote-MLflow-Tracking-Server starten, um alles organisiert zu halten.

Abb. 2. Gängige Setups für die MLflow-Tracking-Umgebung. Bildquelle: MLflow Tracking.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob MLflow das richtige Tool für dein Projekt ist:

• Skalierbarkeit: MLflow skaliert gut mit deinen Anforderungen, egal ob du auf einem einzelnen Rechner arbeitest oder auf großen Clustern bereitstellst. Wenn dein Projekt die Skalierung von der Entwicklung bis zur Produktion umfasst, kann MLflow dieses Wachstum unterstützen.
• Projektkomplexität: MLflow ist ideal für komplexe Projekte, die gründliches Tracking, Modellverwaltung und Bereitstellungsfunktionen erfordern. Wenn dein Projekt diese umfassenden Funktionen erfordert, kann MLflow deine Workflows rationalisieren.
• Einrichtung und Wartung: Obwohl MLflow leistungsstark ist, erfordert es eine gewisse Einarbeitungszeit und einen Einrichtungsaufwand.

Link to this sectionVerwendung von Weights & Biases (W&B) für das Tracking von Computer Vision-Modellen#

Weights & Biases ist eine MLOps-Plattform zum Tracking, Visualisieren und Verwalten von Machine-Learning-Experimenten. Durch die Verwendung von W&B mit YOLOv8 kannst du die Leistung deiner Modelle überwachen, während du sie trainierst und feinabstimmst. Das interaktive Dashboard von W&B bietet eine klare Echtzeitansicht dieser Metriken und erleichtert es, Trends zu erkennen, Modellvarianten zu vergleichen und Probleme während des Trainingsprozesses zu beheben.

W&B protokolliert automatisch Trainingsmetriken und Modell-Checkpoints, und du kannst es sogar verwenden, um Hyperparameter wie die Lernrate und die Batch-Größe feinabzustimmen. Die Plattform unterstützt eine Vielzahl von Setup-Optionen, vom Tracking von Läufen auf deinem lokalen Rechner bis zur Verwaltung groß angelegter Projekte mit Cloud-Speicher.

Abb. 3. Ein Beispiel für die Experiment-Tracking-Dashboards von Weights & Biases. Bildquelle: Weights & Biases Experimente tracken.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob Weights & Biases das richtige Tool für dein Projekt ist:

• Erweiterte Visualisierung und Tracking: W&B bietet ein intuitives Dashboard, um Trainingsmetriken und Modellleistung in Echtzeit zu visualisieren.
• Preismodell: Die Preisgestaltung basiert auf getrackten Stunden, was für Benutzer mit begrenztem Budget oder Projekte mit langen Trainingszeiten möglicherweise nicht ideal ist.

Link to this sectionMLOps-Experiment-Tracking mit ClearML#

ClearML ist eine Open-Source-MLOps-Plattform, die entwickelt wurde, um Machine-Learning-Workflows zu automatisieren, zu überwachen und zu orchestrieren. Sie unterstützt gängige Machine-Learning-Frameworks wie PyTorch, TensorFlow und Keras und lässt sich einfach in deine bestehenden Prozesse integrieren. ClearML unterstützt außerdem verteiltes Rechnen auf lokalen Rechnern oder in der Cloud und kann die CPU- und GPU-Auslastung überwachen.

YOLOv8s Integration mit ClearML bietet Tools für Experiment-Tracking, Modellverwaltung und Ressourcenüberwachung. Die intuitive Web-Benutzeroberfläche der Plattform ermöglicht es dir, Daten zu visualisieren, Experimente zu vergleichen und kritische Metriken wie Loss, Genauigkeit und Validierungsergebnisse in Echtzeit zu verfolgen. Die Integration unterstützt auch erweiterte Funktionen wie Remote-Ausführung, Hyperparameter-Tuning und Modell-Checkpointing.

Abb. 4. Ein Beispiel für die Experiment-Tracking-Visualisierungen von ClearML. Bildquelle: Clear ML Experimente tracken und Ergebnisse visualisieren.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob ClearML das richtige Tool für dein Projekt ist:

• Bedarf an fortgeschrittenem Experiment-Tracking: ClearML bietet ein robustes Experiment-Tracking, das eine automatische Integration mit Git beinhaltet.
• Flexible Bereitstellung: ClearML kann On-Premises, in der Cloud oder auf Kubernetes-Clustern verwendet werden, wodurch es an verschiedene Setups anpassbar ist.

Link to this sectionTracke Trainingsexperimente mit Comet ML#

Comet ML ist eine benutzerfreundliche Plattform, die bei der Verwaltung und dem Tracking von Machine-Learning-Experimenten hilft. YOLOv8s Integration mit Comet ML lässt dich deine Experimente protokollieren und deine Ergebnisse im Zeitverlauf betrachten. Die Integration erleichtert es, Trends zu erkennen und verschiedene Läufe zu vergleichen.

Comet ML kann in der Cloud, in einer Virtual Private Cloud (VPC) oder sogar On-Premises verwendet werden, was es an verschiedene Setups und Bedürfnisse anpassbar macht. Dieses Tool ist für die Teamarbeit konzipiert. Du kannst Projekte teilen, Teammitglieder markieren und Kommentare hinterlassen, damit alle auf demselben Stand bleiben und Experimente präzise reproduzieren können.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob Comet ML das richtige Tool für dein Projekt ist:

• Unterstützt mehrere Frameworks und Sprachen: Comet ML funktioniert mit Python, JavaScript, Java, R und mehr, was es zu einer vielseitigen Option macht, egal welche Tools oder Sprachen dein Projekt verwendet.
• Anpassbare Dashboards und Berichte: Die Oberfläche von Comet ML ist hochgradig anpassbar, sodass du die Berichte und Dashboards erstellen kannst, die für dein Projekt am sinnvollsten sind.
• Kosten: Comet ML ist eine kommerzielle Plattform, und einige ihrer erweiterten Funktionen erfordern ein kostenpflichtiges Abonnement.

Link to this sectionTensorBoard kann bei Visualisierungen helfen#

TensorBoard ist ein leistungsstarkes Visualisierungs-Toolkit, das speziell für TensorFlow-Experimente entwickelt wurde, aber es ist auch ein großartiges Tool zum Tracking und Visualisieren von Metriken über eine Vielzahl von Machine-Learning-Projekten hinweg. Bekannt für seine Einfachheit und Geschwindigkeit, ermöglicht TensorBoard Benutzern, wichtige Metriken einfach zu tracken und Modellgraphen, Embeddings und andere Datentypen zu visualisieren.

Ein großer Vorteil der Verwendung von TensorBoard mit YOLOv8 ist, dass es praktischerweise vorinstalliert ist, wodurch zusätzliche Setups entfallen. Ein weiterer Vorteil ist die Fähigkeit von TensorBoard, vollständig On-Premises zu laufen. Dies ist besonders wichtig für Projekte mit strengen Datenschutzanforderungen oder für solche in Umgebungen, in denen Cloud-Uploads keine Option sind.

Abb. 5. Überwachung des YOLOv8-Modelltrainings mit TensorBoard.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob TensorBoard das richtige Tool für dein Projekt ist:

• Erklärbarkeit mit dem What-If Tool (WIT): TensorBoard enthält das What-If Tool, das eine benutzerfreundliche Schnittstelle zur Erkundung und zum Verständnis von ML-Modellen bietet. Es ist wertvoll für diejenigen, die Einblicke in Black-Box-Modelle gewinnen und die Erklärbarkeit verbessern möchten.
• Einfaches Experiment-Tracking: TensorBoard ist ideal für grundlegende Tracking-Anforderungen mit begrenztem Experiment-Vergleich und es mangelt an robusten Funktionen für die Teamzusammenarbeit, Versionskontrolle und das Datenschutzmanagement.

Link to this sectionVerwendung von DVCLive (Data Version Control Live) zum Tracking von ML-Experimenten#

YOLOv8s Integration mit DVCLive bietet eine optimierte Methode zum Tracking und Verwalten von Experimenten, indem deine Datensätze, Modelle und Code gemeinsam versioniert werden, ohne große Dateien in Git zu speichern. Es verwendet Git-ähnliche Befehle und speichert getrackte Metriken in einfachen Textdateien für eine einfache Versionskontrolle. DVCLive protokolliert wichtige Metriken, visualisiert Ergebnisse und verwaltet Experimente sauber, ohne dein Repository zu überladen. Es unterstützt eine Vielzahl von Speicheranbietern und kann lokal oder in der Cloud funktionieren. DVCLive ist perfekt für Teams, die das Experiment-Tracking ohne zusätzliche Infrastruktur oder Cloud-Abhängigkeiten optimieren möchten.

Link to this sectionVerwaltung von Ultralytics-Modellen und Workflows mit Ultralytics HUB#

Ultralytics HUB ist eine unternehmenseigene All-in-One-Plattform, die entwickelt wurde, um das Training, die Bereitstellung und die Verwaltung von Ultralytics YOLO-Modellen wie YOLOv5 und YOLOv8 zu vereinfachen. Im Gegensatz zu externen Integrationen bietet Ultralytics HUB ein nahtloses, natives Erlebnis, das speziell für YOLO-Benutzer geschaffen wurde. Es vereinfacht den gesamten Prozess und ermöglicht es dir, Datensätze einfach hochzuladen, vortrainierte Modelle auszuwählen und das Training mit nur wenigen Klicks mithilfe von Cloud-Ressourcen zu starten – alles innerhalb der benutzerfreundlichen Oberfläche des HUB. Ultralytics HUB unterstützt auch Experiment-Tracking, wodurch die Überwachung des Trainingsfortschritts, der Vergleich von Ergebnissen und die Feinabstimmung von Modellen einfach werden.

Abb. 6. Überwachung des YOLOv8-Modelltrainings mit Ultralytics HUB.

Link to this sectionWichtige Erkenntnisse#

Die Auswahl des richtigen Tools für das Tracking deiner Machine-Learning-Experimente kann einen großen Unterschied machen. Alle Tools, die wir besprochen haben, können beim Tracking von YOLOv8-Trainingsexperimenten helfen, aber es ist wichtig, die Vor- und Nachteile jedes einzelnen abzuwägen, um die beste Lösung für dein Projekt zu finden. Das richtige Tool hält dich organisiert und hilft dabei, die Leistung deines YOLOv8-Modells zu verbessern!

Integrationen können die Verwendung von YOLOv8 in deinen innovativen Projekten vereinfachen und deinen Fortschritt beschleunigen. Um weitere aufregende YOLOv8-Integrationen zu erkunden, schau dir unsere Dokumentation an.

Erfahre mehr über KI, indem du unser GitHub-Repository erkundest und unserer Community beitrittst. Sieh dir unsere Lösungsseiten für detaillierte Einblicke in KI in der Fertigung und im Gesundheitswesen an. 🚀