Roboflow über die Entwicklung mit Open Source und Ultralytics YOLOv8

Hier sind die wichtigsten Erkenntnisse aus dem Vortrag von Joseph Nelson bei der YOLO Vision 2023 (YV23), die auf dem Google for Startups Campus in Madrid stattfand.

Joseph, Mitgründer und CEO von Roboflow, sprach über Basismodelle, die Zusammenarbeit im Open-Source-Bereich und Ultralytics YOLOv8. Roboflow ist eine Plattform, die Entwicklern beim Erstellen von Computer-Vision-Datensätzen und -Modellen hilft. Über eine Viertelmillion Entwickler nutzen die zugehörigen Werkzeuge.

Warum Computer Vision?#

Joseph begann mit einer Erklärung, was Computer Vision ist. Im Kern ist Computer Vision ein Bereich der künstlichen Intelligenz (AI) und Informatik, der darauf ausgerichtet ist, Computern die Verarbeitung von Bildern und Videos zu ermöglichen. Dabei werden Daten und Informationen extrahiert, die anschließend analysiert werden können.

Kurz gesagt, verwandelt Computer Vision alles, was wir sehen, in Software und trägt so zur Mission bei, die Welt programmierbar zu machen. Die Anwendungsbereiche sind vielfältig und reichen von einer besseren Bestandsverwaltung im Einzelhandel bis hin zu spielerischen Snapchat-Filtern.

Joseph zeigte Beispiele für Projekte, die mit Computer Vision umgesetzt wurden. Dazu gehörten Roboter mit Flammenwerfern zur Unkrautbekämpfung und Trainingsgeräte für Katzen (mit Laserpointer!), Drohnen, die Luftbilder navigieren und Objekte wie Solarmodule erkennen, automatisierte OBS-Steuerungen und sogar ein Werkzeug, das uns vor dem berüchtigten Rickroll bewahrt.

Basismodelle: ein grundlegender Wandel#

Der Vortrag beschrieb den Wandel durch Basismodelle und stellte drei Szenarien vor:

• Sofort einsatzbereite Modelle: Du kannst bestehende Modelle wie CLIP von OpenAI für Aufgaben wie Inhaltsfilterung und Bildbeschreibungen verwenden. Das eignet sich besonders, wenn Echtzeitanforderungen nicht entscheidend sind und ausreichend Rechenleistung zur Verfügung steht.
• Modelle, die etwas Unterstützung brauchen: Du kannst Modelle wie Grounding DINO verwenden, um Daten automatisch zu beschriften und ein Modell für bestimmte Aufgaben nachzutrainieren. Das eignet sich gut für Anwendungsfälle wie die Identifizierung von Arten, bei denen ein Basismodell an domänenspezifische Anforderungen angepasst werden kann.
• Von Grund auf neu entwickeln: Ein herkömmlicher Arbeitsablauf umfasst die Erfassung individueller Daten, das Modelltraining und die kontinuierliche Verbesserung. Diese maßgeschneiderte Lösung eignet sich für domänenspezifische Probleme mit Echtzeitanforderungen oder begrenzten Rechenressourcen.

Neue Möglichkeiten mit Ultralytics erschließen#

Joseph betonte, wie Ultralytics Arbeitsabläufe beschleunigt und das Entwickeln, Trainieren und Bereitstellen von Modellen erleichtert. Ultralytics ist eine zentrale Anlaufstelle für Open-Source-Datensätze, Modelle und weitere Ressourcen, etwa das No-Code-SaaS-Werkzeug Ultralytics Platform.

Zum Abschluss#

Zum Abschluss ermutigte Joseph die Community, diese Werkzeuge auszuprobieren, Erfahrungen auszutauschen und die Zukunft von Computer Vision weiter mitzugestalten.

Sieh dir den vollständigen Vortrag zur Bereitstellung von Ultralytics YOLOv8 als Open Source an.