Ein Überblick über die Integrationen zur Protokollierung von ML-Experimenten mit Ultralytics YOLOv8

Daten sammeln und annotieren sowie Modelle wie das Ultralytics-YOLOv8-Modell zu trainieren ist der Kern jedes Computer-Vision-Projekts. Oft musst du dein benutzerdefiniertes Modell mit verschiedenen Parametern mehrmals trainieren, um das leistungsstärkste Modell zu finden. Mit Werkzeugen zur Nachverfolgung deiner Trainingsexperimente lässt sich die Verwaltung deines Computer-Vision-Projekts etwas vereinfachen. Experimentnachverfolgung bedeutet, die Einzelheiten jedes Trainingslaufs aufzuzeichnen – etwa die verwendeten Parameter, die erzielten Ergebnisse und alle Änderungen, die du im Verlauf vorgenommen hast.

Abb. 1. Abbildung zur Einordnung der Experimentverfolgung in ein Computer-Vision-Projekt.

Wenn du diese Details festhältst, kannst du deine Ergebnisse reproduzieren, nachvollziehen, was funktioniert und was nicht, und deine Modelle effektiver abstimmen. Für Unternehmen trägt dies zur Einheitlichkeit zwischen Teams bei, fördert die Zusammenarbeit und schafft einen lückenlosen Prüfpfad. Für Einzelpersonen geht es darum, die eigene Arbeit klar und übersichtlich zu dokumentieren, sodass du deinen Ansatz verfeinern und mit der Zeit bessere Ergebnisse erzielen kannst.

In diesem Artikel führen wir dich durch die verschiedenen verfügbaren Integrationen für das Training, mit denen du deine YOLOv8-Experimente verwalten und überwachen kannst. Ganz gleich, ob du allein oder in einem größeren Team arbeitest: Die passenden Werkzeuge zur Nachverfolgung zu kennen und einzusetzen, kann den Erfolg deiner YOLOv8-Projekte maßgeblich beeinflussen.

Nachverfolgung von Machine-Learning-Experimenten mit MLflow#

MLflow ist eine von Databricks entwickelte Open-Source-Plattform, die die Verwaltung des gesamten Lebenszyklus von Machine-Learning-Modellen erleichtert. MLflow Tracking ist eine zentrale Komponente von MLflow. Sie bietet eine API und eine Benutzeroberfläche, mit denen Data Scientists und Engineers ihre Machine-Learning-Experimente protokollieren und visualisieren können. MLflow unterstützt mehrere Sprachen und Schnittstellen, darunter Python sowie REST-, Java- und R-APIs.

MLflow Tracking lässt sich nahtlos in YOLOv8 integrieren. Du kannst wichtige Kennzahlen wie Präzision, Trefferquote und Verlust direkt aus deinen Modellen protokollieren. Die Einrichtung von MLflow mit YOLOv8 ist unkompliziert und bietet flexible Möglichkeiten: Du kannst die standardmäßige Localhost-Konfiguration verwenden, eine Verbindung zu verschiedenen Datenspeichern herstellen oder einen entfernten MLflow-Tracking-Server starten, damit alles übersichtlich bleibt.

Abb. 2. Gängige Konfigurationen für die MLflow-Tracking-Umgebung. Bildquelle: MLflow Tracking.

Hier sind einige Anhaltspunkte, die dir bei der Entscheidung helfen, ob MLflow das richtige Tool für dein Projekt ist:

• Skalierbarkeit: MLflow lässt sich gut an deinen Bedarf anpassen, ganz gleich, ob du auf einem einzelnen Rechner arbeitest oder große Cluster einsetzt. Wenn dein Projekt von der Entwicklung in den Produktivbetrieb übergeht, kann MLflow dieses Wachstum unterstützen.
• Projektkomplexität: MLflow eignet sich ideal für komplexe Projekte, die eine umfassende Nachverfolgung, Modellverwaltung und Bereitstellungsfunktionen erfordern. Wenn dein Projekt diese umfassenden Funktionen benötigt, kann MLflow deine Arbeitsabläufe vereinfachen.
• Einrichtung und Wartung: MLflow ist zwar leistungsfähig, erfordert aber eine gewisse Einarbeitung und zusätzlichen Aufwand bei der Einrichtung.

Weights & Biases (W&B) zur Nachverfolgung von Computer-Vision-Modellen verwenden#

Weights & Biases ist eine MLOps-Plattform zum Nachverfolgen, Visualisieren und Verwalten von Experimenten im maschinellen Lernen. Wenn du W&B mit YOLOv8 verwendest, kannst du die Leistung deiner Modelle während des Trainings und der Feinabstimmung überwachen. Das interaktive Dashboard von W&B bietet eine übersichtliche Ansicht dieser Messwerte in Echtzeit. So lassen sich Trends leichter erkennen, Modellvarianten vergleichen und während des Trainingsprozesses Probleme beheben.

W&B protokolliert Trainingskennzahlen und Modellprüfpunkte automatisch. Du kannst damit sogar Hyperparameter wie Lernrate und Stapelgröße abstimmen. Die Plattform bietet zahlreiche Einrichtungsmöglichkeiten, von der Nachverfolgung von Trainingsläufen auf deinem lokalen Rechner bis zur Verwaltung umfangreicher Projekte mit Cloud-Speicher.

Abb. 3. Beispielhafte Dashboards zur Experimentverfolgung von Weights & Biases. Bildquelle: Weights & Biases track experiments.

Hier sind einige Anhaltspunkte, die dir bei der Entscheidung helfen, ob Weights & Biases das richtige Tool für dein Projekt ist:

• Verbesserte Visualisierung und Nachverfolgung: W&B bietet ein intuitives Dashboard, mit dem du Trainingskennzahlen und Modellleistung in Echtzeit visualisieren kannst.

MLOps-Experimentverfolgung mit ClearML#

ClearML ist eine Open-Source-MLOps-Plattform zur Automatisierung, Überwachung und Orchestrierung von Machine-Learning-Arbeitsabläufen. Sie unterstützt gängige Machine-Learning-Frameworks wie PyTorch, TensorFlow und Keras und lässt sich problemlos in deine bestehenden Prozesse integrieren. ClearML unterstützt außerdem verteiltes Rechnen auf lokalen Rechnern oder in der Cloud und kann die CPU- und GPU-Auslastung überwachen.

Die Integration von YOLOv8 mit ClearML bietet Werkzeuge zur Experimentnachverfolgung, Modellverwaltung und Ressourcenüberwachung. Über die intuitive Weboberfläche der Plattform kannst du Daten visualisieren, Experimente vergleichen und wichtige Messwerte wie Verlust, Genauigkeit und Validierungsergebnisse in Echtzeit nachverfolgen. Die Integration unterstützt außerdem erweiterte Funktionen wie Remote-Ausführung, Hyperparameteroptimierung und Modellprüfpunkte.

Abb. 4. Beispiel für Visualisierungen der Experimentnachverfolgung in ClearML. Bildquelle: ClearML Tracking Experiments and Visualizing Results.

Hier sind einige Anhaltspunkte, die dir bei der Entscheidung helfen, ob ClearML das richtige Tool für dein Projekt ist:

• Bedarf an erweiterter Experimentverfolgung: ClearML bietet eine zuverlässige Experimentverfolgung, die eine automatische Integration mit Git umfasst.
• Flexible Bereitstellung: ClearML kann lokal, in der Cloud oder auf Kubernetes-Clustern eingesetzt werden und lässt sich so an verschiedene Konfigurationen anpassen.

Trainingsläufe mit Comet ML nachverfolgen#

Comet ML ist eine benutzerfreundliche Plattform zur Verwaltung und Nachverfolgung von Machine-Learning-Experimenten. Die Integration von YOLOv8 mit Comet ML ermöglicht es dir, deine Experimente zu protokollieren und deine Ergebnisse im Zeitverlauf anzusehen. So lassen sich Trends leichter erkennen und verschiedene Trainingsläufe vergleichen.

Comet ML kann in der Cloud, in einer privaten virtuellen Cloud (VPC) oder sogar lokal eingesetzt werden und lässt sich so an verschiedene Konfigurationen und Anforderungen anpassen. Das Tool ist auf Teamarbeit ausgelegt. Du kannst Projekte teilen, Teammitglieder markieren und Kommentare hinterlassen, damit alle auf dem gleichen Stand sind und Experimente präzise reproduzieren können.

Hier sind einige Anhaltspunkte, die dir bei der Entscheidung helfen, ob Comet ML das richtige Tool für dein Projekt ist:

• Unterstützt mehrere Frameworks und Programmiersprachen: Comet ML funktioniert mit Python, JavaScript, Java, R und weiteren Sprachen. Dadurch ist es eine vielseitige Option – unabhängig davon, welche Werkzeuge oder Programmiersprachen dein Projekt verwendet.
• Anpassbare Dashboards und Berichte: Die Benutzeroberfläche von Comet ML lässt sich umfassend anpassen, sodass du Berichte und Dashboards erstellen kannst, die für dein Projekt am sinnvollsten sind.
• Kosten: Comet ML ist eine kommerzielle Plattform, und für einige der erweiterten Funktionen ist ein kostenpflichtiges Abonnement erforderlich.

TensorBoard unterstützt die Visualisierung#

TensorBoard ist ein leistungsfähiges Visualisierungswerkzeug, das speziell für TensorFlow-Experimente entwickelt wurde. Es eignet sich aber auch hervorragend zur Nachverfolgung und Visualisierung von Kennzahlen in zahlreichen Machine-Learning-Projekten. TensorBoard ist für seine einfache Bedienung und Geschwindigkeit bekannt und ermöglicht es Nutzern, wichtige Kennzahlen nachzuverfolgen sowie Modellgraphen, Einbettungen und andere Datentypen zu visualisieren.

Ein großer Vorteil der Verwendung von TensorBoard mit YOLOv8 ist der geringe Einrichtungsaufwand: Installiere das Paket tensorboard und aktiviere die Protokollierung einmalig mit yolo settings tensorboard=True. Ein weiterer Vorteil ist, dass TensorBoard vollständig lokal ausgeführt werden kann. Das ist besonders wichtig für Projekte mit strengen Datenschutzanforderungen oder in Umgebungen, in denen kein Hochladen in die Cloud möglich ist.

Abb. 5. Überwachung des YOLOv8-Modelltrainings mit TensorBoard.

Hier sind einige Anhaltspunkte, die dir bei der Entscheidung helfen, ob TensorBoard das richtige Tool für dein Projekt ist:

• Einfache Experimentverfolgung: TensorBoard eignet sich für grundlegende Anforderungen an die Nachverfolgung, bietet jedoch nur eingeschränkte Möglichkeiten zum Vergleich von Experimenten und keine umfassenden Funktionen für die Zusammenarbeit im Team, die Versionsverwaltung oder das Datenschutzmanagement.

ML-Experimente mit DVCLive (Data Version Control Live) nachverfolgen#

Die Integration von YOLOv8 mit DVCLive bietet eine einfache Möglichkeit, Experimente nachzuverfolgen und zu verwalten, indem du Datensätze, Modelle und Code gemeinsam versionierst, ohne große Dateien in Git zu speichern. Sie verwendet Git-ähnliche Befehle und speichert nachverfolgte Messwerte in Klartextdateien, die sich leicht versionieren lassen. DVCLive protokolliert wichtige Messwerte, visualisiert Ergebnisse und verwaltet Experimente übersichtlich, ohne dein Repository zu überladen. Das Tool unterstützt zahlreiche Speicheranbieter und funktioniert lokal oder in der Cloud. DVCLive eignet sich gut für Teams, die ihre Experimentnachverfolgung ohne zusätzliche Infrastruktur oder Cloud-Abhängigkeiten vereinfachen möchten.

Ultralytics-Modelle und Arbeitsabläufe mit Ultralytics HUB verwalten#

Ultralytics HUB (jetzt Ultralytics Platform) ist eine interne All-in-one-Plattform, die das Training, die Bereitstellung und die Verwaltung von Ultralytics-YOLO-Modellen wie YOLOv5 und YOLOv8 vereinfachen soll. Anders als externe Integrationen bietet Ultralytics HUB eine native Lösung, die speziell für YOLO-Anwender entwickelt wurde. Die Plattform vereinfacht den gesamten Prozess: Du kannst Datensätze unkompliziert hochladen, vortrainierte Modelle auswählen und mit nur wenigen Klicks das Training mit Cloud-Ressourcen starten – alles über die benutzerfreundliche Oberfläche von HUB. Ultralytics HUB unterstützt auch die Experimentnachverfolgung. So kannst du den Trainingsfortschritt einfach überwachen, Ergebnisse vergleichen und Modelle feinabstimmen.

Abb. 6. Überwachung des YOLOv8-Modelltrainings mit Ultralytics HUB.

Die wichtigsten Erkenntnisse#

Die Wahl des richtigen Tools zur Nachverfolgung deiner Machine-Learning-Experimente kann einen großen Unterschied machen. Alle hier besprochenen Tools können dich bei der Nachverfolgung von YOLOv8-Trainingsexperimenten unterstützen. Es ist jedoch wichtig, die Vor- und Nachteile jedes Tools abzuwägen, um die beste Lösung für dein Projekt zu finden. Mit dem richtigen Tool behältst du den Überblick und kannst die Leistung deines YOLOv8-Modells verbessern!

Integrationen können die Verwendung von YOLOv8 in deinen Projekten vereinfachen und deine Arbeit beschleunigen. Weitere YOLOv8-Integrationen findest du in unserer Dokumentation.

Erfahre mehr über KI in unserem GitHub-Repository und werde Teil unserer Community. Auf unseren Lösungsseiten findest du ausführliche Einblicke in KI in der Fertigung und im Gesundheitswesen.