Erkundung der ML-Experiment-Tracking-Integrationen von Ultralytics YOLOv8

Das Sammeln von Daten, das Annotieren und das Trainieren von Modellen wie dem Ultralytics YOLOv8 model sind der Kern eines jeden computer vision-Projekts. Oft musst du dein benutzerdefiniertes Modell mehrmals mit verschiedenen Parametern trainieren, um das optimale Modell zu erstellen. Die Verwendung von Tools zum Verfolgen deiner Trainingsexperimente kann die Verwaltung deines computer vision project etwas erleichtern. Experiment Tracking ist der Prozess des Aufzeichnens der Details jedes Trainingslaufs – wie der verwendeten Parameter, der erzielten Ergebnisse und aller vorgenommenen Änderungen auf dem Weg dorthin.

Fig 1. Ein Bild, das zeigt, wie Experiment Tracking in ein Computer-Vision-Projekt passt.

Das Aufzeichnen dieser Details hilft dir, deine Ergebnisse zu reproduzieren, zu verstehen, was funktioniert und was nicht, und deine Modelle effektiver abzustimmen. Für Unternehmen hilft es, die Konsistenz über Teams hinweg zu wahren, fördert die Zusammenarbeit und bietet einen klaren Prüfpfad. Für Einzelpersonen geht es darum, eine klare und organisierte Dokumentation deiner Arbeit beizubehalten, mit der du deinen Ansatz verfeinern und im Laufe der Zeit bessere Ergebnisse erzielen kannst.

In diesem Artikel führen wir dich durch die verschiedenen Training-Integrationen, die zur Verwaltung und Überwachung deiner YOLOv8-Experimente verfügbar sind. Egal, ob du alleine oder als Teil eines größeren Teams arbeitest, das Verständnis und die Verwendung der richtigen Tracking-Tools können einen echten Unterschied für den Erfolg deiner YOLOv8-Projekte ausmachen.

Machine Learning Experiment-Tracking mit MLflow#

MLflow ist eine Open-Source-Plattform, die von Databricks entwickelt wurde und die Verwaltung des gesamten Machine-Learning-Lebenszyklus erleichtert. MLflow Tracking ist eine wesentliche Komponente von MLflow, die eine API und eine Benutzeroberfläche bietet, mit der Data Scientists und Ingenieure ihre Machine-Learning-Experimente protokollieren und visualisieren können. Es unterstützt mehrere Sprachen und Schnittstellen, einschließlich Python-, REST-, Java- und R-APIs.

MLflow Tracking lässt sich nahtlos in YOLOv8 integrieren, und du kannst wichtige Metriken wie Genauigkeit, Recall und Loss direkt von deinen Modellen protokollieren. Das Einrichten von MLflow mit YOLOv8 ist unkompliziert, und es gibt flexible Optionen: Du kannst das Standard-Localhost-Setup verwenden, eine Verbindung zu verschiedenen Datenspeichern herstellen oder einen Remote-MLflow-Tracking-Server starten, um alles organisiert zu halten.

Abb. 2. Gängige Setups für die MLflow-Tracking-Umgebung. Bildquelle: MLflow Tracking.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob MLflow das richtige Tool für dein Projekt ist:

• Skalierbarkeit: MLflow skaliert gut mit deinen Anforderungen, egal ob du auf einem einzelnen Rechner arbeitest oder auf großen Clustern bereitstellst. Wenn dein Projekt die Skalierung von der Entwicklung bis zur Produktion umfasst, kann MLflow dieses Wachstum unterstützen.
• Projektkomplexität: MLflow ist ideal für komplexe Projekte, die gründliches Tracking, Modellverwaltung und Bereitstellungsfunktionen erfordern. Wenn dein Projekt diese umfassenden Funktionen erfordert, kann MLflow deine Workflows rationalisieren.
• Einrichtung und Wartung: Obwohl MLflow leistungsstark ist, erfordert es eine gewisse Einarbeitungszeit und einen Einrichtungsaufwand.

Verwendung von Weights & Biases (W&B) für das Tracking von Computer Vision-Modellen#

Weights & Biases ist eine MLOps-Plattform zum Verfolgen, Visualisieren und Verwalten von Machine-Learning-Experimenten. Durch die Verwendung von W&B mit YOLOv8 kannst du die Leistung deiner Modelle beim Trainieren und Optimieren überwachen. Das interaktive Dashboard von W&B bietet eine klare Echtzeitansicht dieser Metriken und erleichtert das Erkennen von Trends, das Vergleichen von Modellvarianten und das Beheben von Problemen während des Trainingsprozesses.

W&B protokolliert automatisch Trainingsmetriken und Modell-Checkpoints, und du kannst es sogar verwenden, um Hyperparameter wie Lernrate und Batch-Größe feinabzustimmen. Die Plattform unterstützt eine Vielzahl von Setup-Optionen, von der Verfolgung von Durchläufen auf deinem lokalen Computer bis hin zur Verwaltung groß angelegter Projekte mit Cloud-Speicher.

Abb. 3. Ein Beispiel für die Experiment-Tracking-Dashboards von Weights & Biases. Bildquelle: Weights & Biases Experimente tracken.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob Weights & Biases das richtige Tool für dein Projekt ist:

• Erweiterte Visualisierung und Tracking: W&B bietet ein intuitives Dashboard, um Trainingsmetriken und Modellleistung in Echtzeit zu visualisieren.
• Preismodell: Die Preisgestaltung basiert auf getrackten Stunden, was für Benutzer mit begrenztem Budget oder Projekte mit langen Trainingszeiten möglicherweise nicht ideal ist.

MLOps-Experiment-Tracking mit ClearML#

ClearML ist eine Open-Source-MLOps-Plattform, die entwickelt wurde, um Machine-Learning-Workflows zu automatisieren, zu überwachen und zu orchestrieren. Sie unterstützt gängige Machine-Learning-Frameworks wie PyTorch, TensorFlow und Keras und lässt sich einfach in deine bestehenden Prozesse integrieren. ClearML unterstützt außerdem verteiltes Rechnen auf lokalen Rechnern oder in der Cloud und kann die CPU- und GPU-Auslastung überwachen.

Die Integration von YOLOv8 mit ClearML bietet Tools für Experiment Tracking, Modellmanagement und Ressourcenüberwachung. Die intuitive Web-Benutzeroberfläche der Plattform ermöglicht es dir, Daten zu visualisieren, Experimente zu vergleichen und kritische Metriken wie Loss, Genauigkeit und Validierungsergebnisse in Echtzeit zu verfolgen. Die Integration unterstützt auch erweiterte Funktionen wie Remote-Ausführung, Hyperparameter-Tuning und Modell-Checkpoints.

Abb. 4. Ein Beispiel für die Experiment-Tracking-Visualisierungen von ClearML. Bildquelle: Clear ML Experimente tracken und Ergebnisse visualisieren.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob ClearML das richtige Tool für dein Projekt ist:

• Bedarf an fortgeschrittenem Experiment-Tracking: ClearML bietet ein robustes Experiment-Tracking, das eine automatische Integration mit Git beinhaltet.
• Flexible Bereitstellung: ClearML kann On-Premises, in der Cloud oder auf Kubernetes-Clustern verwendet werden, wodurch es an verschiedene Setups anpassbar ist.

Tracke Trainingsexperimente mit Comet ML#

Comet ML ist eine benutzerfreundliche Plattform, die bei der Verwaltung und Nachverfolgung von Machine-Learning-Experimenten hilft. Die Integration von YOLOv8 mit Comet ML ermöglicht es dir, deine Experimente zu protokollieren und deine Ergebnisse im Laufe der Zeit einzusehen. Die Integration erleichtert das Erkennen von Trends und den Vergleich verschiedener Durchläufe.

Comet ML kann in der Cloud, in einer Virtual Private Cloud (VPC) oder sogar On-Premises verwendet werden, was es an verschiedene Setups und Bedürfnisse anpassbar macht. Dieses Tool ist für die Teamarbeit konzipiert. Du kannst Projekte teilen, Teammitglieder markieren und Kommentare hinterlassen, damit alle auf demselben Stand bleiben und Experimente präzise reproduzieren können.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob Comet ML das richtige Tool für dein Projekt ist:

• Unterstützt mehrere Frameworks und Sprachen: Comet ML funktioniert mit Python, JavaScript, Java, R und mehr, was es zu einer vielseitigen Option macht, unabhängig davon, welche Tools oder Sprachen dein Projekt verwendet.
• Anpassbare Dashboards und Berichte: Die Oberfläche von Comet ML ist hochgradig anpassbar, sodass du die Berichte und Dashboards erstellen kannst, die für dein Projekt am sinnvollsten sind.
• Kosten: Comet ML ist eine kommerzielle Plattform, und einige ihrer erweiterten Funktionen erfordern ein kostenpflichtiges Abonnement.

TensorBoard kann bei Visualisierungen helfen#

TensorBoard ist ein leistungsstarkes Visualisierungs-Toolkit, das speziell für TensorFlow-Experimente entwickelt wurde, aber es ist auch ein großartiges Tool zum Tracking und Visualisieren von Metriken über eine Vielzahl von Machine-Learning-Projekten hinweg. Bekannt für seine Einfachheit und Geschwindigkeit, ermöglicht TensorBoard Benutzern, wichtige Metriken einfach zu tracken und Modellgraphen, Embeddings und andere Datentypen zu visualisieren.

Ein großer Vorteil der Verwendung von TensorBoard mit YOLOv8 ist, dass es praktischerweise vorinstalliert ist, wodurch keine zusätzliche Einrichtung erforderlich ist. Ein weiterer Vorteil ist die Fähigkeit von TensorBoard, vollständig lokal (on-premises) ausgeführt zu werden. Dies ist besonders wichtig für Projekte mit strengen Datenschutzanforderungen oder in Umgebungen, in denen Cloud-Uploads keine Option sind.

Fig 5. Überwachung des Trainings von YOLOv8-Modellen mit TensorBoard.

Hier sind einige Informationen, die dir bei der Entscheidung helfen sollen, ob TensorBoard das richtige Tool für dein Projekt ist:

• Erklärbarkeit mit dem What-If Tool (WIT): TensorBoard enthält das What-If Tool, das eine benutzerfreundliche Schnittstelle zur Erkundung und zum Verständnis von ML-Modellen bietet. Es ist wertvoll für diejenigen, die Einblicke in Black-Box-Modelle gewinnen und die Erklärbarkeit verbessern möchten.
• Einfaches Experiment-Tracking: TensorBoard ist ideal für grundlegende Tracking-Anforderungen mit begrenztem Experiment-Vergleich und es mangelt an robusten Funktionen für die Teamzusammenarbeit, Versionskontrolle und das Datenschutzmanagement.

Verwendung von DVCLive (Data Version Control Live) zum Tracking von ML-Experimenten#

Die Integration von YOLOv8 mit DVCLive bietet eine optimierte Möglichkeit zum Verfolgen und Verwalten von Experimenten, indem deine Datensätze, Modelle und der Code zusammen versioniert werden, ohne große Dateien in Git zu speichern. Sie verwendet Git-ähnliche Befehle und speichert nach verfolgte Metriken in Klartextdateien für eine einfache Versionskontrolle. DVCLive protokolliert wichtige Metriken, visualisiert Ergebnisse und verwaltet Experimente sauber, ohne dein Repository zu überladen. Es unterstützt eine Vielzahl von Speicheranbietern und kann lokal oder in der Cloud arbeiten. DVCLive ist perfekt für Teams, die das Experiment Tracking ohne zusätzliche Infrastruktur oder Cloud-Abhängigkeiten optimieren möchten.

Verwaltung von Ultralytics-Modellen und Workflows mit Ultralytics HUB#

Ultralytics HUB ist eine interne All-in-One-Plattform, die entwickelt wurde, um das Training, die Bereitstellung und die Verwaltung von Ultralytics YOLO-Modellen wie YOLOv5 und YOLOv8 zu vereinfachen. Im Gegensatz zu externen Integrationen bietet Ultralytics HUB ein nahtloses, natives Erlebnis, das speziell für YOLO-Benutzer entwickelt wurde. Es vereinfacht den gesamten Prozess und ermöglicht es dir, Datensätze einfach hochzuladen, vortrainierte Modelle auszuwählen und das Training mit nur wenigen Klicks über Cloud-Ressourcen zu starten – alles innerhalb der benutzerfreundlichen Oberfläche des HUBs. Ultralytics HUB unterstützt auch das Experiment Tracking, wodurch die Überwachung des Trainingsfortschritts, der Vergleich von Ergebnissen und das Feinabstimmen von Modellen zum Kinderspiel werden.

Fig 6. Überwachung des Trainings von YOLOv8-Modellen mit Ultralytics HUB.

Wichtige Erkenntnisse#

Die Auswahl des richtigen Tools für das Tracking deiner Machine-Learning-Experimente kann einen großen Unterschied machen. Alle Tools, die wir besprochen haben, können beim Tracking von YOLOv8-Trainingsexperimenten helfen, aber es ist wichtig, die Vor- und Nachteile jedes einzelnen abzuwägen, um die beste Lösung für dein Projekt zu finden. Das richtige Tool hält dich organisiert und hilft dabei, die Leistung deines YOLOv8-Modells zu verbessern!

Integrationen können die Verwendung von YOLOv8 in deinen innovativen Projekten vereinfachen und deinen Fortschritt beschleunigen. Um weitere spannende YOLOv8-Integrationen zu entdecken, schaue dir unsere Dokumentation an.

Erfahre mehr über KI, indem du unser GitHub-Repository erkundest und unserer Community beitretest. Sieh dir unsere Lösungsseiten an, um detaillierte Einblicke in KI in der Fertigung und im Gesundheitswesen zu erhalten. 🚀