Ultralytics : Bereitstellung von Computer-Vision-Modellen in jeder Region

Anfang dieser Woche Ultralytics Ultralytics Ultralytics , eine neue End-to-End-Umgebung, die darauf ausgelegt ist, die Markteinführung von Computer-Vision-Systemen (CV) zu beschleunigen, indem sie alle Phasen des Vision-AI-Workflows – von der Datenaufbereitung über die Modellentwicklung bis hin zur Bereitstellung – optimiert.

Einer der Hauptgründe für die Entwicklung Ultralytics ist, dass die Umsetzung einer Computer-Vision-Lösung, die es Maschinen ermöglicht, Bilder und Videos zu analysieren – von der Idee bis zur praktischen Anwendung –, mehr erfordert als nur die Erstellung eines leistungsfähigen Modells. Sobald ein Modell trainiert und validiert wurde, muss es bereitgestellt werden, damit Anwendungen Bilder senden, Vorhersagen empfangen und Inferenzvorgänge in realen Umgebungen zuverlässig ausführen können.

In dieser Phase des Lebenszyklus des maschinellen Lernens gehen Computer-Vision-Modelle über das Experimentieren hinaus und werden in praktischen Systemen eingesetzt. Selbst wenn frühere Schritte wie die Vorbereitung der Datensätze, die Annotation, das Modelltraining und das Testen reibungslos verlaufen, können diese Ergebnisse ohne eine zuverlässige Methode zur Bereitstellung der Modelle keinen Unterschied bewirken.

In vielen Projekten im Bereich Computer Vision ist die Bereitstellung oft einer der komplexesten Schritte im Arbeitsablauf. 

Teams müssen häufig Inferenz-APIs konfigurieren, Rechenressourcen verwalten, Modelle in der Nähe der Nutzer bereitstellen, um die Latenz zu verringern, und die Leistung überwachen, sobald die Systeme in der Produktion laufen.

Ultralytics optimiert und automatisiert diesen Prozess durch verschiedene Bereitstellungsoptionen, darunter Modell-Exportformate, gemeinsam genutzte Inferenzdienste und dedizierte Endpunkte in verschiedenen Regionen weltweit. Dank der verwalteten Infrastruktur und der integrierten Überwachung können Teams trainierte Modelle problemlos in produktionsreife Computer-Vision-Systeme überführen.

In diesem Artikel erfahren Sie, wie Sie Computer-Vision-Modelle mithilfe spezieller Endpunkte auf Ultralytics in jeder beliebigen Region bereitstellen können. Legen wir los!

Was versteht man unter der Bereitstellung von CV-Modellen?

Bevor wir uns damit befassen, wie man Deep-Learning-Modelle mithilfe Ultralytics bereitstellt, wollen wir uns zunächst ein besseres Bild davon machen, was die Bereitstellung von Computer-Vision-Modellen eigentlich bedeutet.

Die Bereitstellung eines Modells für die Bildverarbeitung ist der Prozess, bei dem ein trainiertes Modell für den Einsatz in der Praxis bereitgestellt wird. Anstatt nur in einer Trainingsumgebung zu laufen, wird das Modell so eingerichtet, dass Anwendungen Bilder oder Videos an es senden und im Gegenzug Vorhersagen erhalten können. 

Ein Modell kann beispielsweise detect in einem Bild detect , eine Bildsegmentierung durchführen, Gegenstände in einem Lager identifizieren oder Muster in Videomaterial erkennen. In den meisten realen Systemen erfolgt dies über eine API oder einen Inferenz-Endpunkt. 

Eine Anwendung sendet ein Bild an das Modell, das Modell verarbeitet es und gibt innerhalb von Millisekunden eine Vorhersage zurück. Genau das macht Computer-Vision-Modelle wie Ultralytics YOLO Echtzeitanwendungen ermöglichen.

Modelle können je nach Anwendungsfall in unterschiedlichen Umgebungen eingesetzt werden. Einige laufen in der Cloud (über Cloud-Plattformen), auf die viele Anwendungen zugreifen können, während andere auf Edge-Geräten laufen, wie beispielsweise lokalen Kameras, Robotern oder eingebetteten Systemen, die schnelle lokale Vorhersagen benötigen.

Optionen für die Bereitstellung von KI-Modellen auf Ultralytics

Ultralytics bietet zwar Lösungen für viele Herausforderungen, mit denen die Computer-Vision-Community konfrontiert ist – insbesondere beim Einsatz von Modellen –, ermöglicht aber auch flexible Möglichkeiten zur Durchführung von Inferenz, je nach den Anforderungen Ihrer Anwendung. 

Hier ein kurzer Überblick über die auf der Plattform verfügbaren Optionen zur Modellbereitstellung:

• Modellexport: Sie können Modelle in 17 verschiedene Formate exportieren, darunter ONNX, TensorRT, CoreML und TFLite. Dadurch lassen sich Modelle in einer Vielzahl von Umgebungen ausführen, beispielsweise auf Edge-Geräten wie Raspberry Pi und NVIDIA , in mobilen Apps, in Docker-Containern und in benutzerdefinierten Infrastrukturen.
• Gemeinsame Inferenz: Über die Plattform können Sie Vorhersagen über einen verwalteten gemeinsamen Inferenzdienst ausführen, was sich ideal für das schnelle Testen von Modellen eignet 
• Dedizierte Endpunkte: Stellen Sie Modelle ganz einfach als eigenständige Dienste mit eindeutigen API-URLs bereit, die in 43 Regionen weltweit ausgeführt werden können – mit integrierter automatischer Skalierung, Überwachung und Zustandsprüfungen für Produktionsbereitstellungen.

Bereitstellung über dedizierte Endpunkte

Eine der skalierbarsten Möglichkeiten, vortrainierte Modelle oder individuell trainierte Computer-Vision-Modelle auf Ultralytics in der Produktion auszuführen, ist die Verwendung dedizierter Endpunkte. Ein dedizierter Endpunkt ermöglicht es Ihnen, ein trainiertes Modell als eigenständigen Dienst bereitzustellen, sodass Anwendungen Bilder an diesen senden und Vorhersagen über eine API empfangen können.

Anstatt ein Modell nur in einer Trainingsumgebung oder einem lokalen Notebook auszuführen, wird es durch die Bereitstellung als Endpunkt für reale Anwendungen zugänglich gemacht. So könnte beispielsweise ein Lagersystem Bilder von Paketen zur Objekterkennung senden, eine Smart-Kamera könnte Videobilder analysieren oder ein Robotersystem könnte Vorhersagen nutzen, um Aktionen zu steuern.

Jeder dedizierte Endpunkt wird als Single-Tenant-Dienst ausgeführt, was bedeutet, dass die Infrastruktur, auf der Ihr Modell läuft, nicht mit anderen Nutzern geteilt wird. Dies sorgt für eine besser vorhersehbare Leistung und erleichtert die Überwachung des Modellverhaltens in der Produktion.

Die Funktionsweise dedizierter Inferenz-Endpunkte verstehen

Man kann sich einen dedizierten Endpunkt als einen gehosteten Dienst für Ihr Modell vorstellen. Ultralytics stellt eine eindeutige Endpunkt-URL bereit, die als Einstiegspunkt für Anwendungen dient. 

Wenn eine Anwendung eine Anfrage an diese URL sendet, enthält sie ein Bild und optionale Parameter wie Konfidenzschwellenwerte oder Bildgröße sowie einen API-Schlüssel zur Authentifizierung.

Der Dienst führt anhand Ihres Modells eine Inferenz für das Bild durch und gibt die Vorhersagen in einer strukturierten Antwort zurück. Diese Konfiguration ermöglicht es Entwicklern, Computer-Vision-Modelle mithilfe von Standard-Webtools in reale Systeme zu integrieren. 

Anwendungen können Anfragen über Python, JavaScript, cURL oder andere HTTP-Clients senden, wodurch sich Modelle problemlos mit Dashboards, Robotersystemen oder Cloud-Anwendungen verbinden lassen. Da der Endpunkt eigenständig läuft, unterstützt er zudem Skalierung, Überwachung und globale Bereitstellung und hilft Teams so dabei, zuverlässige Computer-Vision-Systeme für den Produktiveinsatz zu entwickeln.

Der Einsatz in mehreren Regionen verbessert die Echtzeit-Inferenz

Ein wesentlicher Vorteil der dedizierten Endpunkte auf Ultralytics ist die Möglichkeit, Modelle in 43 Regionen weltweit bereitzustellen. Diese Regionen erstrecken sich über verschiedene Teile der Welt, darunter Nordamerika, Südamerika, Europa, den asiatisch-pazifischen Raum sowie den Nahen Osten und Afrika.

Die Bereitstellung von Modellen in Regionen, die näher am Ausführungsort der Anwendungen liegen, trägt dazu bei, die Latenz zu verringern – also die Zeit, die eine Anwendung benötigt, um ein Bild zu senden und eine Vorhersage zu erhalten. Außerdem können Unternehmen dadurch die Anforderungen an den Datenschutz und die Datenhoheit besser erfüllen, da die Datenverarbeitung näher am Entstehungsort der Daten erfolgt. 

Eine geringe Latenz ist für viele Anwendungen im Bereich der Bildverarbeitung wichtig, die auf Echtzeit-Inferenz angewiesen sind, wie beispielsweise Robotersysteme, Geräte des Internets der Dinge (IoT), industrielle Inspektionsprozesse und die Infrastruktur von Smart Cities.

Wenn eine Anwendung beispielsweise hauptsächlich in Europa genutzt wird, kann die Bereitstellung des Modells in einer europäischen Region die Antwortzeiten im Vergleich zum Betrieb des Modells in einer weit entfernten Region erheblich verbessern. 

So führen Sie mit Ultralytics eine Bereitstellung in einer beliebigen Region durch

Die Bereitstellung eines Modells in einer bestimmten Region ist einfach und dauert in der Regel nur wenige Minuten. Die Plattform übernimmt die Einrichtung der Infrastruktur, sodass sich Entwickler ganz auf die Integration des Modells in ihre Anwendungen konzentrieren können. Sehen wir uns die einzelnen Schritte einmal genauer an.

Schritt 1: Ein Modell trainieren oder hochladen

Bevor Sie das Modell einsetzen, benötigen Sie ein trainiertes Modell in Ihrem Projekt. Dabei kann es sich um ein Modell handeln, das direkt auf Ultralytics trainiert wurde, um ein Modell, das nach dem Training an anderer Stelle hochgeladen wurde, oder um ein Modell, das aus einem Community-Projekt auf der Registerkarte „Explore“ geklont wurde. Dort können öffentliche Projekte, die von anderen Nutzern geteilt wurden, mit einem Klick in Ihr eigenes Konto kopiert werden.

Sobald das Modell fertig ist, öffne dessen Modellseite in deinem Projekt, um fortzufahren.

Schritt 2: Öffnen Sie die Registerkarte „Bereitstellung“

Wechseln Sie zur Registerkarte „Bereitstellung“ des Modells. In diesem Bereich der Plattform können Sie Bereitstellungen konfigurieren und starten.

Auf dieser Seite finden Sie eine Regionentabelle und eine interaktive Karte, auf der die weltweit verfügbaren Bereitstellungsorte angezeigt werden. Die Plattform misst die Latenz von Ihrem Standort aus und sortiert die Regionen entsprechend, um Ihnen bei der Auswahl der am besten geeigneten Region zu helfen.

Schritt 3: Wählen Sie eine Bereitstellungsregion aus

Wählen Sie eine Region aus, je nachdem, wo sich Ihre Nutzer oder Anwendungen befinden. Durch die Bereitstellung des Modells in der Nähe der Quelle der Anfragen lassen sich die Antwortzeiten erheblich verkürzen.

Schritt 4: Den Endpunkt bereitstellen

Nachdem Sie die Region ausgewählt und die Konfiguration bestätigt haben, können Sie auf „Bereitstellen“ klicken.

Die Plattform bereitet daraufhin die Bereitstellungsumgebung vor, ruft das Modell-Image ab, startet den Dienst und führt einen Zustandscheck durch, um sicherzustellen, dass der Endpunkt bereit ist. Dieser Vorgang dauert in der Regel etwa ein bis zwei Minuten.

Sobald die Bereitstellung abgeschlossen ist, generiert die Plattform eine eindeutige Endpunkt-URL, über die Anwendungen Inferenzanfragen senden können.

Schritt 6: Senden Sie Inferenzanfragen

Sobald der Endpunkt läuft, können Anwendungen damit beginnen, Bilder über den bereitgestellten REST API und einen im Authorization-Header übergebenen API-Schlüssel an das Modell zu senden. Der Endpunkt verarbeitet jede Anfrage und gibt Vorhersagen wie erkannte Objekte, Begrenzungsrahmen oder andere aufgabenspezifische Ergebnisse zurück.

Weitere Informationen zur Modellbereitstellung finden Sie in der offiziellen DokumentationUltralytics

Überwachung der Modellleistung und der Kennzahlen für bereitgestellte Endpunkte

Sobald ein Computer-Vision-Modell in Betrieb genommen wurde, ist die Überwachung seiner Leistung ein wichtiger Bestandteil der Aufrechterhaltung der Zuverlässigkeit und Robustheit des Systems. Selbst ein gut trainiertes Modell muss im Produktionsbetrieb beobachtet werden, um sicherzustellen, dass es weiterhin schnell reagiert, eingehende Anfragen ordnungsgemäß verarbeitet und genaue Vorhersagen liefert.

Ultralytics bietet integrierte Überwachungstools, die Teams Einblick in die Leistung der bereitgestellten Endgeräte geben. Die Seite „Deploy“ der Plattform fungiert als Überwachungs-Dashboard und bietet eine zentrale Übersicht über alle laufenden Endgeräte sowie wichtige Kennzahlen, mit denen track und die Nutzung track .

Hier sind einige der Kennzahlen, die Sie über die Plattform überwachen können:

• P95-Latenz: Diese Kennzahl misst die serverseitige Antwortzeit für Inferenzanfragen am 95. Perzentil. Sie gibt Aufschluss darüber, wie lange die meisten Inferenzanfragen dauern, und macht Leistungsabfälle erkennbar.
• Fehlerquote: Sie gibt den Prozentsatz der Anfragen an, die innerhalb des ausgewählten Überwachungszeitraums fehlgeschlagen sind oder Fehler zurückgegeben haben. Durch die Überwachung der Fehlerquoten können Teams detect bei Bereitstellungen oder eingehenden Anfragen schnell detect .
• Gesamtanzahl der Anfragen: Diese Kennzahl gibt die Gesamtzahl der Inferenzanfragen an, die im ausgewählten Zeitraum (z. B. in den letzten 24 Stunden) über die bereitgestellten Endpunkte verarbeitet wurden. Sie hilft Teams dabei, das Verkehrsaufkommen zu verstehen und zu erkennen, wie häufig ihre Modelle genutzt werden.

Zusätzlich zu diesen Kennzahlen bietet die Plattform auch Zustandsprüfungen für Endpunkte und Bereitstellungsprotokolle. Zustandsprüfungen zeigen an, ob ein Endpunkt ordnungsgemäß reagiert, während Protokolle detaillierte Informationen zu den jüngsten Anfragen und Systemaktivitäten liefern.

Wesentliche Erkenntnisse

Die Bereitstellung von Computer-Vision-Modellen ist ein entscheidender Schritt, um trainierte Modelle in Systeme umzusetzen, die reale Anwendungen unterstützen. Mit Ultralytics können Teams Modelle ganz einfach über dedizierte Endpunkte in 43 Regionen weltweit bereitstellen, Echtzeit-Inferenz über APIs ausführen und die Leistung aus einer einzigen Umgebung heraus überwachen. Durch die Kombination aus flexiblen Bereitstellungsoptionen, integrierter Überwachung und skalierbarer Infrastruktur hilft die Plattform Entwicklern dabei, trainierte Machine-Learning-Modelle schneller in zuverlässige Computer-Vision-Anwendungen umzusetzen.

Werden Sie Teil unserer wachsenden Community! Tauchen Sie ein in unser GitHub-Repository, um mehr über KI zu erfahren. Wenn Sie Computer Vision-Lösungen entwickeln möchten, sehen Sie sich unsere Lizenzoptionen an. Entdecken Sie die Vorteile von Computer Vision im Gesundheitswesen und sehen Sie, wie KI in der Logistik einen Unterschied macht!