Ultralytics Platform: Computer-Vision-Modelle in jeder Region bereitstellen

Anfang dieser Woche hat Ultralytics die Ultralytics Platform veröffentlicht, eine neue durchgängige Umgebung, die die Bereitstellung von Computer-Vision-Systemen (CV) beschleunigt, indem sie jede Phase des Workflows für visuelle KI von der Datenvorbereitung und Modellentwicklung bis zur Bereitstellung optimiert.

Eine der wichtigsten Motivationen für die Entwicklung der Ultralytics Platform besteht darin, dass es mehr erfordert als nur den Aufbau eines leistungsfähigen Modells, eine Computer-Vision-Lösung, mit der Maschinen Bilder und Videos analysieren können, von der Idee bis zur praktischen Wirkung zu bringen. Sobald ein Modell trainiert und validiert wurde, muss es bereitgestellt werden, damit Anwendungen Bilder senden, Vorhersagen empfangen und die Inferenz zuverlässig in realen Umgebungen ausführen können.

In dieser Phase des Lebenszyklus maschinellen Lernens gehen Computer-Vision-Modelle über Experimente hinaus und beginnen, praktische Systeme anzutreiben. Selbst wenn frühere Schritte wie Datensatzvorbereitung, Annotation, Modelltraining und Tests reibungslos verlaufen, können diese Ergebnisse ohne eine zuverlässige Möglichkeit zur Bereitstellung von Modellen keinen Unterschied bewirken.

Bei vielen Computer-Vision-Projekten kann die Bereitstellung einer der komplexesten Schritte im Workflow sein.

Teams müssen häufig Inferenz-APIs konfigurieren, Rechenressourcen verwalten, Modelle zur Latenzreduzierung in der Nähe der Benutzer bereitstellen und die Leistung überwachen, sobald die Systeme im Produktivbetrieb laufen.

Die Ultralytics Platform optimiert und automatisiert diesen Prozess, indem sie mehrere Bereitstellungsoptionen bietet, darunter Modellexportformate, gemeinsam genutzte Inferenzdienste und dedizierte Endpunkte in globalen Regionen. Mit verwalteter Infrastruktur und integrierter Überwachung können Teams trainierte Modelle problemlos in produktionsreife Computer-Vision-Systeme überführen.

Abb. 1. Ein Blick auf die Bereitstellung von Modellen mit der Ultralytics Platform (Quelle)

In diesem Artikel untersuchen wir, wie du Computer-Vision-Modelle mithilfe dedizierter Endpunkte auf der Ultralytics Platform in jeder Region bereitstellst. Legen wir los!

Was bedeutet die Bereitstellung von CV-Modellen?#

Bevor wir uns damit befassen, wie du Deep-Learning-Modelle mit der Ultralytics Platform bereitstellst, sehen wir uns zunächst genauer an, was die Bereitstellung von Computer-Vision-Modellen eigentlich bedeutet.

Die Bereitstellung von Computer-Vision-Modellen ist der Prozess, ein trainiertes Modell für den Einsatz in der Praxis verfügbar zu machen. Statt nur in einer Trainingsumgebung zu laufen, wird das Modell so eingerichtet, dass Anwendungen Bilder oder Videos an es senden und im Gegenzug Vorhersagen empfangen können.

Ein Modell kann beispielsweise Objekte in einem Bild erkennen, Bildsegmentierung durchführen, Artikel in einem Lager identifizieren oder Muster in Videoaufnahmen erkennen. In den meisten realen Systemen geschieht dies über eine API oder einen Inferenz-Endpunkt.

Eine Anwendung sendet ein Bild an das Modell, das Modell verarbeitet es und gibt innerhalb von Millisekunden eine Vorhersage zurück. Dadurch können Computer-Vision-Modelle wie Ultralytics YOLO Echtzeitanwendungen ermöglichen.

Modelle können je nach Anwendungsfall in unterschiedlichen Umgebungen bereitgestellt werden. Einige laufen in der Cloud (über Cloud-Plattformen) und sind für viele Anwendungen zugänglich, während andere auf Edge-Geräten ausgeführt werden, etwa auf Kameras vor Ort, Robotern oder eingebetteten Systemen, die schnelle lokale Vorhersagen benötigen.

Optionen zur Bereitstellung von KI-Modellen auf der Ultralytics Platform#

Die Ultralytics Platform begegnet vielen Herausforderungen der Computer-Vision-Community, insbesondere bei der Bereitstellung von Modellen, und bietet flexible Möglichkeiten zur Ausführung der Inferenz, abhängig von den Anforderungen deiner Anwendung.

Hier ist ein kurzer Überblick über die auf der Plattform verfügbaren Optionen zur Modellbereitstellung:

• Modellexport: Du kannst Modelle in 17 verschiedene Formate exportieren, darunter ONNX, TensorRT, CoreML und TFLite. Dadurch lassen sich Modelle in einer Vielzahl von Umgebungen ausführen, etwa auf Edge-Geräten wie Raspberry Pi und NVIDIA Jetson, in mobilen Apps, Docker-Containern und benutzerdefinierten Infrastrukturen.
• Gemeinsam genutzte Inferenz: Mit der Plattform kannst du Vorhersagen über einen verwalteten, gemeinsam genutzten Inferenzdienst ausführen, der sich ideal zum schnellen Testen von Modellen eignet.
• Dedizierte Endpunkte: Stelle Modelle ganz einfach als unabhängige Dienste mit eindeutigen API-URLs bereit, die in 43 globalen Regionen ausgeführt werden können, einschließlich integrierter automatischer Skalierung, Überwachung und Zustandsprüfungen für den Produktivbetrieb.

Bereitstellung mit dedizierten Endpunkten#

Eine der skalierbarsten Möglichkeiten, vortrainierte Modelle oder benutzerdefiniert trainierte Computer-Vision-Modelle auf der Ultralytics Platform im Produktivbetrieb auszuführen, sind dedizierte Endpunkte. Mit einem dedizierten Endpunkt kannst du ein trainiertes Modell als eigenen Dienst bereitstellen, sodass Anwendungen Bilder an ihn senden und Vorhersagen über eine API empfangen können.

Statt ein Modell nur in einer Trainingsumgebung oder einem lokalen Notebook auszuführen, macht die Bereitstellung als Endpunkt das Modell für reale Anwendungen zugänglich. So könnte ein Lagersystem beispielsweise Bilder von Paketen zur Objekterkennung senden, eine intelligente Kamera Videobilder analysieren oder ein Robotiksystem Vorhersagen zur Steuerung von Aktionen verwenden.

Jeder dedizierte Endpunkt wird als Dienst mit eigener Mandantenumgebung ausgeführt. Das bedeutet, dass die Infrastruktur, auf der dein Modell läuft, nicht mit anderen Benutzern geteilt wird. Dies sorgt für eine besser vorhersehbare Leistung und erleichtert die Überwachung des Modellverhaltens im Produktivbetrieb.

Funktionsweise dedizierter Inferenz-Endpunkte verstehen#

Du kannst dir einen dedizierten Endpunkt als gehosteten Dienst für dein Modell vorstellen. Die Ultralytics Platform stellt eine eindeutige Endpunkt-URL bereit, die als Einstiegspunkt für Anwendungen dient.

Wenn eine Anwendung eine Anfrage an diese URL sendet, enthält sie ein Bild und optionale Parameter wie Konfidenzschwellen oder Bildgröße sowie einen API-Schlüssel zur Authentifizierung.

Der Dienst führt mit deinem Modell eine Inferenz auf dem Bild aus und gibt die Vorhersagen in einer strukturierten Antwort zurück. So können Entwickler Computer-Vision-Modelle mithilfe standardmäßiger Webwerkzeuge in reale Systeme integrieren.

Anwendungen können Anfragen mit Python, JavaScript, cURL oder anderen HTTP-Clients senden, sodass sich Modelle einfach mit Dashboards, Robotiksystemen oder Cloud-Anwendungen verbinden lassen. Da der Endpunkt unabhängig ausgeführt wird, unterstützt er außerdem Skalierung, Überwachung und globale Bereitstellung und hilft Teams dabei, zuverlässige Computer-Vision-Systeme für den Produktivbetrieb zu entwickeln.

Bereitstellung in mehreren Regionen verbessert die Echtzeitinferenz#

Ein wesentlicher Vorteil dedizierter Endpunkte auf der Ultralytics Platform ist die Möglichkeit, Modelle in 43 globalen Regionen bereitzustellen. Diese Regionen erstrecken sich über mehrere Teile der Welt, darunter Nordamerika, Südamerika, Europa, der asiatisch-pazifische Raum sowie der Nahe Osten und Afrika.

Abb. 2. Die Ultralytics Platform unterstützt 43 globale Regionen (Quelle)

Die Bereitstellung von Modellen in Regionen, die näher am Standort der Anwendungen liegen, trägt zur Reduzierung der Latenz bei, also der Zeit, die eine Anwendung benötigt, um ein Bild zu senden und eine Vorhersage zu empfangen. Außerdem können Unternehmen dadurch Anforderungen an Datenschutz und Datenresidenz erfüllen, indem die Datenverarbeitung näher am Ursprungsort der Daten stattfindet.

Eine niedrige Latenz ist für viele Computer-Vision-Anwendungen wichtig, die auf Echtzeitinferenz angewiesen sind, etwa Robotiksysteme, Geräte des Internets der Dinge (IoT), industrielle Prüfabläufe und intelligente städtische Infrastruktur.

Wenn eine Anwendung beispielsweise hauptsächlich in Europa eingesetzt wird, kann die Bereitstellung des Modells in einer europäischen Region die Antwortzeiten im Vergleich zur Ausführung des Modells in einer weit entfernten Region deutlich verbessern.

So stellst du Modelle mit der Ultralytics Platform in jeder Region bereit#

Die Bereitstellung eines Modells in einer bestimmten Region ist einfach und dauert normalerweise nur wenige Minuten. Die Plattform übernimmt die Einrichtung der Infrastruktur, sodass sich Entwickler auf die Integration des Modells in ihre Anwendungen konzentrieren können. Sehen wir uns die einzelnen Schritte an.

Schritt 1: Modell trainieren oder hochladen#

Vor der Bereitstellung benötigst du ein trainiertes Modell in deinem Projekt. Dabei kann es sich um ein direkt auf der Ultralytics Platform trainiertes Modell, ein nach dem Training an anderer Stelle hochgeladenes Modell oder ein aus einem Community-Projekt geklontes Modell handeln, das im Tab „Explore“ gefunden wurde. Dort können öffentliche, von anderen Benutzern geteilte Projekte mit einem Klick in dein eigenes Konto kopiert werden.

Sobald das Modell bereit ist, öffne seine Modellseite in deinem Projekt, um fortzufahren.

Schritt 2: Tab „Deploy“ öffnen#

Rufe für das Modell den Tab „Deploy“ auf. In diesem Bereich der Plattform kannst du Bereitstellungen konfigurieren und starten.

Auf dieser Seite siehst du eine Regionstabelle und eine interaktive Karte mit den weltweit verfügbaren Bereitstellungsstandorten. Die Plattform misst die Latenz von deinem Standort aus und sortiert die Regionen entsprechend, damit du die am besten geeignete Region auswählen kannst.

Abb. 3. Regionen auf der Ultralytics Platform nach Latenz sortiert (Quelle)

Schritt 3: Bereitstellungsregion auswählen#

Wähle eine Region basierend auf dem Standort deiner Benutzer oder Anwendungen aus. Wenn du das Modell näher am Ursprung der Anfragen bereitstellst, kannst du die Antwortzeiten deutlich reduzieren.

Schritt 4: Endpunkt bereitstellen#

Nachdem du die Region ausgewählt und die Konfiguration bestätigt hast, kannst du auf „Deploy“ klicken.

Die Plattform bereitet anschließend die Bereitstellungsumgebung vor, lädt das Modell-Image, startet den Dienst und führt eine Zustandsprüfung durch, um sicherzustellen, dass der Endpunkt bereit ist. Dieser Vorgang dauert normalerweise etwa ein bis zwei Minuten.

Nach Abschluss der Bereitstellung generiert die Plattform eine eindeutige Endpunkt-URL, über die Anwendungen Inferenzanfragen senden können.

Abb. 4. Beispiel für einen bereitgestellten Endpunkt (Quelle)

Schritt 5: Inferenzanfragen senden#

Wenn der Endpunkt läuft, können Anwendungen über den bereitgestellten REST API-Endpunkt und einen API-Schlüssel im Authorization-Header damit beginnen, Bilder an das Modell zu senden. Der Endpunkt verarbeitet jede Anfrage und gibt Vorhersagen wie erkannte Objekte, Begrenzungsrahmen oder andere aufgabenspezifische Ausgaben zurück.

Weitere Informationen zur Modellbereitstellung findest du in der offiziellen Dokumentation der Ultralytics Platform.

Leistung und Metriken bereitgestellter Endpunkte überwachen#

Sobald ein Computer-Vision-Modell bereitgestellt wurde, wird die Überwachung seiner Leistung zu einem wichtigen Bestandteil der Aufrechterhaltung von Systemzuverlässigkeit und Robustheit. Auch ein gut trainiertes Modell muss im Produktivbetrieb beobachtet werden, damit es weiterhin schnell reagiert, eingehende Anfragen ordnungsgemäß verarbeitet und genaue Vorhersagen liefert.

Die Ultralytics Platform bietet integrierte Überwachungstools, mit denen Teams Einblick in die Leistung bereitgestellter Endpunkte erhalten. Die Deploy-Seite der Plattform dient als Überwachungsdashboard und bietet eine zentrale Ansicht aller laufenden Endpunkte sowie wichtiger Metriken zur Überwachung des Systemzustands und der Nutzung.

Hier sind einige der Metriken, die du mit der Platform überwachen kannst:

• P95-Latenz: Diese Metrik misst die serverseitige Antwortzeit beim 95. Perzentil für Inferenzanfragen. Sie zeigt, wie lange die meisten Inferenzanfragen dauern, und macht Leistungseinbußen sichtbar.
• Fehlerrate: Sie gibt den Prozentsatz der Anfragen an, die innerhalb des ausgewählten Überwachungszeitraums fehlgeschlagen sind oder Fehler zurückgegeben haben. Durch die Überwachung der Fehlerrate können Teams Probleme bei Bereitstellungen oder eingehenden Anfragen schnell erkennen.
• Gesamtzahl der Anfragen: Diese Metrik zeigt die Gesamtzahl der Inferenzanfragen, die während des ausgewählten Zeitraums über bereitgestellte Endpunkte verarbeitet wurden (beispielsweise in den letzten 24 Stunden). Sie hilft Teams dabei, das Verkehrsaufkommen und die Nutzungshäufigkeit ihrer Modelle zu verstehen.

Zusätzlich zu diesen Metriken bietet die Plattform Zustandsprüfungen für Endpunkte und Bereitstellungsprotokolle. Zustandsprüfungen zeigen an, ob ein Endpunkt ordnungsgemäß antwortet, während Protokolle detaillierte Informationen zu kürzlich eingegangenen Anfragen und Systemaktivitäten liefern.

Wichtige Erkenntnisse#

Die Bereitstellung von Computer-Vision-Modellen ist ein entscheidender Schritt, um trainierte Modelle in Systeme zu verwandeln, die reale Anwendungen antreiben. Mit der Ultralytics Platform können Teams Modelle über dedizierte Endpunkte in 43 globalen Regionen bereitstellen, Echtzeitinferenz über APIs ausführen und die Leistung in einer einzigen Umgebung überwachen. Durch die Kombination flexibler Bereitstellungsoptionen, integrierter Überwachung und skalierbarer Infrastruktur hilft die Plattform Entwicklern, schneller von trainierten Machine-Learning-Modellen zu zuverlässigen Computer-Vision-Anwendungen zu gelangen.

Werde Teil unserer wachsenden Community! Sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Wenn du Computer-Vision-Lösungen entwickeln möchtest, informiere dich über unsere Lizenzoptionen. Entdecke die Vorteile von Computer Vision im Gesundheitswesen und erfahre, wie KI in der Logistik etwas bewirkt!