Wie Ultralytics die Bereitstellung von Computer-Vision-Modellen vereinfacht

Ultralytics seit Jahren mit der Computer-Vision-Community Ultralytics entwickelt Modelle und Tools, die die Bildverarbeitungs-KI für alle zugänglicher machen. Mit Ultralytics gehen wir noch einen Schritt weiter und vereinen den gesamten Entwicklungsworkflow im Bereich Computer Vision in einer einheitlichen Umgebung, die alles von der Verwaltung und Annotation von Datensätzen bis hin zum Training, zur Validierung und zur Bereitstellung von Modellen abdeckt.

Insbesondere freuen wir uns darauf, die Bereitstellung von Computer-Vision- Modellen zu vereinfachen. Auch wenn Computer Vision zunehmend in reale Anwendungen Einzug hält, ist die Analyse von Bildern und Videos außerhalb kontrollierter Umgebungen nach wie vor komplex. 

Im Gegensatz zu Testumgebungen, in denen die Bedingungen vorhersehbar sind, sind reale Szenarien durch unterschiedliche Lichtverhältnisse, wechselnde Eingaben und unvorhersehbare Arbeitslasten gekennzeichnet, was die Bereitstellung zu einem der schwierigsten Aspekte des Bildverarbeitungs-Workflows macht.

Die Bereitstellung umfasst mehr als nur die Bereitstellung eines Modells zur Nutzung. Sie erfordert die Einrichtung von Prozessen, die mit realen Daten umgehen können, sowie die Gewährleistung, dass alles reibungslos läuft, wenn die Nutzung zunimmt und Projekte skalieren. 

Teams müssen zudem track und die Zuverlässigkeit langfristig sicherstellen. Dies bedeutet oft, dass sie zwischen verschiedenen KI-Tools für Tests, Integration, Bereitstellung und Überwachung wechseln müssen, was die Modellentwicklung verlangsamen und unnötige Komplexität verursachen kann.

Arbeitsabläufe werden dadurch fragmentiert. Ultralytics vereinheitlicht und vereinfacht diesen Prozess.

Es bietet integrierte Unterstützung für das Bereitstellen, Testen und Überwachen von Modellen in einer einzigen Umgebung. Teams können Modelle mithilfe browserbasierter Inferenz validieren, sie über gemeinsame Inferenzdienste in Anwendungen integrieren und auf dedizierten Endpunkten mit Funktionen zur Leistungsüberwachung bereitstellen.

In diesem Artikel werden wir untersuchen, wie Ultralytics die Bereitstellung von Computer-Vision-Modellen neu definiert – vom Testen und der Integration bis hin zur Produktionsbereitstellung und Überwachung. Los geht’s!

Ein Überblick über die Bereitstellung von Modellen für die Bildverarbeitung

Im Lebenszyklus des maschinellen Lernens ist die Modellbereitstellung die Phase, in der ein Modell von der Experimentierphase in den praktischen Einsatz übergeht. Bei Computervisionsmodellen, die auf Deep Learning und konvolutionellen neuronalen Netzen basieren, bedeutet dies in der Regel, dass sie für die Verarbeitung von Bildern und Videos in Echtzeit bereitgestellt werden.

Nach ihrer Bereitstellung nehmen diese Modelle neue Daten auf, die in der Regel Vorverarbeitungsschritte wie Größenanpassung, Normalisierung oder Formatierung durchlaufen. Die verarbeiteten Daten werden dann an das Modell weitergeleitet, das die während des Trainings erlernten Muster anwendet, um hochpräzise Vorhersagen zu generieren.

Je nach Anwendungsfall kann dies verschiedene Aufgaben im Bereich der Bildverarbeitung umfassen. So unterstützen beispielsweiseYOLO wie Ultralytics eine Vielzahl von Bildverarbeitungsaufgaben, darunter Objekterkennung, Bildklassifizierung, Instanzsegmentierung, Posenabschätzung und die Erkennung orientierter Begrenzungsrahmen (OBB).

Damit dies in der Praxis umsetzbar ist, müssen Modelle häufig in Systeme integriert werden, die sowohl die Vorverarbeitung als auch die Inferenz effizient bewältigen können. Hier kommt der Bereitstellungsinfrastruktur eine entscheidende Rolle zu.

In Produktionsumgebungen erfolgt der Zugriff auf Modelle in der Regel über REST-APIs oder Modellbereitstellungssysteme. Diese Schnittstellen ermöglichen es Anwendungen, Daten zu senden und Vorhersagen programmgesteuert zu empfangen, was die Integration mit externen Anwendungen, IoT-Geräten oder Robotersystemen erleichtert, die auf visuelles Echtzeit-Verständnis angewiesen sind.

Einschränkungen herkömmlicher Tools für den Einsatz von Computer Vision

Die Bereitstellung von Modellen für die Bildverarbeitung mag einfach klingen, doch in der Praxis sah dies bisher ganz anders aus. Betrachten wir einmal eine gängige Konfiguration: Daten werden zunächst von Kameras oder Sensoren erfasst, zur Inferenz an ein Modell gesendet und anschließend als Vorhersagen an eine Anwendung zurückgegeben.

In der Praxis werden diese Schritte oft von verschiedenen Tools und Diensten übernommen. Ein System übernimmt beispielsweise die Datenerfassung, ein anderes die Bereitstellung von Modellen, während weitere Tools für Skalierung, Überwachung und Protokollierung eingesetzt werden. Diese Komponenten miteinander zu verknüpfen und einen zuverlässigen Betrieb sicherzustellen, kann schnell komplex werden.

Mit steigender Nutzung nimmt auch diese Komplexität zu. Die Verwaltung der Infrastruktur, der Umgang mit Abhängigkeiten und die Aufrechterhaltung einer konsistenten Leistung über die gesamte Pipeline hinweg können die Entwicklung verlangsamen und die Bereitstellung von Computer-Vision-Modellen in praktischen Anwendungen erschweren.

Ultralytics vereint diese Komponenten in einer einzigen, einheitlichen Umgebung. Dies ermöglicht eine besser abgestimmte Verwaltung des gesamten Bereitstellungsworkflows und gewährleistet gleichzeitig Leistung und Zuverlässigkeit in großem Maßstab.

Von Ultralytics unterstützte Optionen zur Modellbereitstellung

Ultralytics vereinheitlicht nicht nur den Prozess der Modellbereitstellung, sondern bietet auch Flexibilität bei der Art und Weise, wie Modelle bereitgestellt und genutzt werden.

Um die verschiedenen Phasen der Bereitstellung von Computer-Vision-Modellen zu unterstützen, bietet die Plattform vier Optionen: browserbasierte Tests mit sofortiger Inferenz, gemeinsame Inferenz über APIs für die Entwicklung, dedizierte Endpunkte für skalierbare Produktionsbereitstellungen in verschiedenen Regionen weltweit sowie den Modellexport zur Ausführung von Modellen auf externer Infrastruktur oder Edge-Geräten.

Schauen wir uns also einmal genauer an, wie die einzelnen Optionen funktionieren.

Modelle schnell über die Registerkarte „Predict“ validieren

Bevor ein Modell in die Produktion übernommen wird, ist es wichtig zu wissen, wie es bei neuen, bisher unbekannten Daten abschneidet. Ultralytics verfügt über eine integrierte Registerkarte „Predict“, über die Sie Inferenzberechnungen direkt im Browser durchführen können, ohne dass eine Einrichtung, Infrastruktur oder Abhängigkeiten erforderlich sind.

Über die Registerkarte „Predict“ lässt sich die Modellvalidierung schnell und interaktiv durchführen. Sie können Bilder hochladen, vorinstallierte Beispiele verwenden oder Eingaben über eine Webcam erfassen; die Inferenz wird automatisch ausgeführt, sobald Daten bereitgestellt werden. 

Die Ergebnisse werden sofort mit visuellen Überlagerungen, Konfidenzwerten und detaillierten Auswertungen angezeigt, sodass Sie einen klaren Überblick über das Verhalten des Modells erhalten.

Das bedeutet, dass Sie mit nur wenigen Klicks verschiedene Eingaben testen, Parameter anpassen und die Leistung innerhalb einer einzigen Benutzeroberfläche bewerten können, bevor Sie zur Bereitstellung übergehen.

Ausführen von Shared Inference für Testzwecke oder bei geringer Auslastung

Nehmen wir an, Sie haben ein Modell trainiert und über die Registerkarte „Predict“ validiert. Der nächste Schritt besteht häufig darin, dieses Modell in eine Anwendung oder einen Arbeitsablauf zu integrieren. 

Anstatt eine Infrastruktur aufzubauen oder Server zu verwalten, bietet Ultralytics gemeinsam genutzte Inferenzdienste, mit denen Sie Daten an Ihr Modell senden und Vorhersagen über einfache REST-APIs abrufen können.

Hinter den Kulissen läuft die gemeinsame Inferenz auf einem mandantenfähigen System, das sich über mehrere Kernregionen erstreckt, wobei Anfragen automatisch an den nächstgelegenen verfügbaren Dienst weitergeleitet werden. Dies trägt dazu bei, eine reaktionsschnelle Leistung aufrechtzuerhalten und ermöglicht es Nutzern an verschiedenen Standorten, einheitlich auf die Modelle zuzugreifen.

Sie können Eingaben über Standard-HTTP-Anfragen senden und erhalten im Gegenzug strukturierte Ausgaben, wodurch sich Modelle ganz einfach in Anwendungen, Skripte oder Automatisierungsabläufe integrieren lassen. Diese Konfiguration eignet sich hervorragend für die Entwicklung, das Testen, Integrationen oder den weniger intensiven Einsatz, bevor Sie zu skalierbareren Produktionsumgebungen übergehen.

Modelle über dedizierte Endpunkte weltweit bereitstellen

Sobald ein Modell produktionsbereit ist, muss es den realen Datenverkehr zuverlässig und in großem Maßstab bewältigen können. Ultralytics unterstützt dies durch dedizierte Endpunkte, auf denen Modelle als Single-Tenant-Dienste in 43 Regionen weltweit ausgeführt werden. Durch die Bereitstellung näher am Endnutzer lassen sich Latenzzeiten reduzieren und eine gleichbleibende Leistung an verschiedenen Standorten gewährleisten.

Jeder Endpunkt läuft mit eigenen, zugewiesenen Rechenressourcen und einer eindeutigen URL für Inferenzanfragen. Dank dieser Flexibilität lassen sich Bereitstellungen ganz einfach an die jeweiligen Leistungsanforderungen anpassen – von einfachen Anwendungsfällen bis hin zu anspruchsvolleren Anwendungen mit hohem Durchsatz, die mehr Rechenressourcen benötigen.

Spezielle Endpunkte sind jedoch so konzipiert, dass sie schwankende Arbeitslasten selbstständig bewältigen können, und zwar mithilfe einer automatischen Skalierung, die die Ressourcen entsprechend dem eingehenden Datenverkehr anpasst. Sie werden in Zeiten hoher Nachfrage hochskaliert und bei sinkender Auslastung wieder heruntergefahren. Da die Skalierung auf Null standardmäßig aktiviert ist, werden inaktive Endpunkte automatisch heruntergefahren und bei neuen Anfragen wieder gestartet, wodurch die Ressourcennutzung ohne manuelles Eingreifen optimiert wird.

Exportieren Sie Ihr Modell ganz einfach mit Ultralytics

Heutzutage gewinnt Edge-KI zunehmend an Bedeutung, da immer mehr Anwendungen darauf angewiesen sind, Modelle direkt auf Geräten wie Smartphones, Kameras und eingebetteten Systemen auszuführen. Die lokale Ausführung von Modellen kann zudem dazu beitragen, Datenschutzanforderungen zu erfüllen, da sensible Daten wie Bilder oder Videostreams direkt auf dem Gerät verarbeitet werden können, ohne an externe Server gesendet zu werden.

In solchen Fällen müssen die Modelle außerhalb der Ultralytics ausgeführt werden, weshalb der Modellexport ein wesentlicher Bestandteil des Bereitstellungsprozesses ist.YOLO werden häufig mit Python PyTorch trainiert und können anschließend in über 17 verschiedene Formate exportiert werden, darunter ONNX, TensorRT, CoreML und OpenVINO. 

Diese große Auswahl an Formaten gewährleistet Kompatibilität mit unterschiedlichster Hardware, von leistungsstarken Grafikprozessoren (GPUs) bis hin zu mobilen und eingebetteten Geräten. Darüber hinaus ermöglicht der Export eine Leistungsoptimierung für bestimmte Umgebungen. 

Je nach Format können Modelle höhere Inferenzgeschwindigkeiten erzielen, beispielsweise durch GPU verbesserte GPU mit TensorRT CPU optimierte CPU mit ONNX OpenVINO. Optionen wie die FP16- und INT8-Quantisierung können die Modellgröße weiter reduzieren und den Durchsatz verbessern, was insbesondere für Edge-Bereitstellungen von Nutzen ist.

Auf Ultralytics ist die Exportfunktion direkt in den Arbeitsablauf integriert, sodass optimierte Modelle mit nur wenigen Klicks schnell erstellt werden können. Teams können nahtlos vom Training zum Ausführen der Modelle auf externen Systemen übergehen, ohne dass dadurch zusätzlicher Aufwand entsteht.

Die Wahl der richtigen Option für die Modellbereitstellung

Jede Bereitstellungsoption der Ultralytics unterstützt eine andere Phase des Workflows, von der frühen Testphase bis zum produktiven Einsatz. Hier finden Sie einen Überblick darüber, wann Sie die einzelnen Optionen nutzen können:

• Registerkarte „Predict“: Diese wird in der Regel direkt nach dem Training oder der Feinabstimmung verwendet, wenn Sie mithilfe einer browserbasierten Inferenz überprüfen möchten, wie sich ein Modell bei neuen Daten verhält.
• Gemeinsame Inferenz: In dieser Phase können Modelle über APIs in Anwendungen integriert werden, wodurch es möglich wird, Interaktionen unter realistischen Bedingungen bereits während der Entwicklung zu testen.
• Dedizierte Endpunkte: Diese werden für Produktionsumgebungen eingesetzt, in denen Modelle eine konstante Leistung, dedizierte Ressourcen und die Möglichkeit zur Skalierung über globale Regionen hinweg benötigen.
• Modellexport: Wenn Modelle außerhalb der Plattform ausgeführt werden sollen, ermöglicht die Exportfunktion die Bereitstellung auf Edge-Geräten, in mobilen Apps oder in einer benutzerdefinierten Infrastruktur.

Teams arbeiten diese Optionen oft Schritt für Schritt ab, von der Validierung über die Integration bis hin zur Produktionsbereitstellung – alles innerhalb der Plattform.

Überwachung der bereitgestellten Modelle über Ultralytics

So wichtig die Bereitstellung auch ist, die Vision-Pipeline endet damit noch nicht. Sobald ein Modell in der Produktion läuft, ist eine kontinuierliche Überwachung entscheidend, um sicherzustellen, dass es langfristig zuverlässig funktioniert.

Ultralytics bietet integrierte Überwachungstools, die Teams einen klaren Einblick in das zeitliche Verhalten ihrer Bildverarbeitungs-KI-Modelle geben und so einen besser strukturierten MLOps-Workflow (Machine Learning Operations) ermöglichen.

Die Seite „Deploy“ enthält ein Dashboard, das wichtige Kennzahlen wie die Gesamtzahl der Anfragen, aktive Bereitstellungen, Antwortzeiten und Fehlerquoten erfasst. Diese Einblicke helfen Teams dabei, Nutzungsmuster zu verstehen, die Reaktionsfähigkeit des Systems zu bewerten und eine Leistung mit geringer Latenz bei verschiedenen Workloads sicherzustellen.

Jeder dedizierte Endpunkt bietet zudem detaillierte Einblicke über individuelle Bereitstellungsansichten. Dazu gehören der Zugriff auf Protokolle, der Status der Modelle sowie Leistungsdaten in Echtzeit. Protokolle können genutzt werden, um Fehler zu beheben, fehlgeschlagene Anfragen nachzuverfolgen und potenzielle Probleme im Zusammenhang mit Abhängigkeiten oder der Infrastruktur zu identifizieren.

Im Zuge der Weiterentwicklung von Produktionsumgebungen können Faktoren wie sich ändernde Eingabedaten, steigende Skalierungsanforderungen oder sich wandelnde Nutzungsmuster die Genauigkeit und Robustheit von Modellen beeinträchtigen. Durch die kontinuierliche Überwachung von Leistungskennzahlen können Teams detect , Engpässe identifizieren und Korrekturmaßnahmen wie Modelloptimierungen oder Ressourcenanpassungen ergreifen, um einen konsistenten und zuverlässigen Modellbetrieb aufrechtzuerhalten.

Skalierbarkeit bei der Bereitstellung von Computer-Vision-Modellen

Die Skalierung von Computer-Vision-Systemen bedeutete bislang meist, Arbeitsabläufe und Frameworks miteinander zu verknüpfen, die nie dafür konzipiert waren, als Einheit zu funktionieren. Datenpipelines, Trainingszyklen, Bereitstellungsinfrastruktur und Überwachungssysteme befinden sich oft an unterschiedlichen Orten, was in jeder Phase zu Reibungsverlusten führt.

Die eigentliche Herausforderung besteht nicht nur darin, Modelle zu erstellen, sondern sie am Laufen zu halten. Den Übergang von den Daten zur Produktion zu bewältigen, sich an neue Eingaben anzupassen, die steigende Nachfrage zu bewältigen und sich kontinuierlich zu verbessern, ohne dabei an Tempo zu verlieren.

Das Besondere an Ultralytics ist, dass dieser Prozess bereits integriert ist. Anstatt jede Phase als separaten Schritt zu behandeln, verbindet sie diese zu einem kontinuierlichen Kreislauf, in dem Modelle innerhalb derselben Umgebung entwickelt, bereitgestellt, überwacht und aktualisiert werden können.

Dieser Wandel verändert die Art und Weise, wie Teams skalieren. Es geht nicht mehr um die Koordination von Tools oder Infrastruktur, sondern darum, die Dynamik aufrechtzuerhalten, während die Systeme wachsen.

Wesentliche Erkenntnisse

Um Modelle des maschinellen Lernens, wie beispielsweise Computer-Vision-Modelle, in reale Anwendungen zu integrieren, müssen diese zuverlässig, skalierbar und einfach zu verwalten sein. Ultralytics vereinfacht diesen Prozess, indem sie verschiedene Funktionen wie Modellbereitstellung, Implementierung und Überwachung in einer einheitlichen Umgebung vereint. Dank flexibler Bereitstellungsoptionen und integrierter Tools können Teams schneller und unkomplizierter von der Testphase in die Produktion übergehen.

Schauen Sie sich unsere Community an und stöbern Sie in unserem GitHub-Repository, um mehr zu erfahren. Auf unseren Lösungsseiten finden Sie verschiedene Anwendungsbeispiele, wie zum Beispiel KI im Gesundheitswesen und Computer Vision in der Logistik. Entdecken Sie unsere Lizenzoptionen und legen Sie noch heute los!