Ultralytics Platform: Bereitstellung von Computer-Vision-Modellen in beliebigen Regionen

Anfang dieser Woche hat Ultralytics die Ultralytics Platform gestartet, eine neue End-to-End-Umgebung, die entwickelt wurde, um die Bereitstellung von Computer-Vision-Systemen (CV) zu beschleunigen, indem sie jeden Schritt des Vision-AI-Workflows von der Datenvorbereitung und Modellentwicklung bis zur Bereitstellung optimiert.

Eine der Hauptmotivationen für die Entwicklung der Ultralytics Platform ist, dass die Umsetzung einer Computer-Vision-Lösung, die es Maschinen ermöglicht, Bilder und Videos zu analysieren – von der Idee bis zum echten Nutzen –, mehr erfordert, als nur ein leistungsfähiges Modell zu erstellen. Sobald ein Modell trainiert wurde und die Validierung bestanden hat, muss es bereitgestellt werden, damit Anwendungen Bilder senden, Vorhersagen empfangen und Inferenzen zuverlässig in realen Umgebungen ausführen können.

In dieser Phase des Machine-Learning-Lebenszyklus entwickeln sich Computer-Vision-Modelle über das Experimentierstadium hinaus und beginnen, praktische Systeme anzutreiben. Selbst wenn frühere Schritte wie Datensatzvorbereitung, Annotation, Modelltraining und Tests reibungslos verlaufen, können diese Ergebnisse ohne eine zuverlässige Methode zur Modellbereitstellung keinen echten Unterschied machen.

Die Realität bei vielen Computer-Vision-Projekten ist, dass die Bereitstellung einer der komplexesten Schritte im Workflow sein kann.

Teams müssen oft Inferenz-APIs konfigurieren, Rechenressourcen verwalten, Modelle in Benutzernähe bereitstellen, um die Latenz zu reduzieren, und die Leistung überwachen, sobald die Systeme in der Produktion laufen.

Die Ultralytics Platform optimiert und automatisiert diesen Prozess durch die Bereitstellung mehrerer Bereitstellungsoptionen, darunter Modellexportformate, gemeinsam genutzte Inferenzdienste und dedizierte Endpunkte in globalen Regionen. Mit verwalteter Infrastruktur und integriertem Monitoring können Teams problemlos von trainierten Modellen zu produktionsreifen Computer-Vision-Systemen übergehen.

Abb. 1. Ein Blick auf die Modellbereitstellung mit der Ultralytics Platform (Quelle)

In diesem Artikel untersuchen wir, wie du Computer-Vision-Modelle mithilfe dedizierter Endpunkte auf der Ultralytics Platform in beliebige Regionen bereitstellst. Fangen wir an!

Link to this sectionWas ist eine CV-Modellbereitstellung?#

Bevor wir uns damit befassen, wie du Deep-Learning-Modelle mit der Ultralytics Platform bereitstellst, wollen wir besser verstehen, was die Bereitstellung von Computer-Vision-Modellen eigentlich bedeutet.

Die Modellbereitstellung von Computer-Vision-Modellen ist der Prozess, bei dem ein trainiertes Modell für den realen Einsatz verfügbar gemacht wird. Anstatt nur in einer Trainingsumgebung zu laufen, wird das Modell so eingerichtet, dass Anwendungen Bilder oder Videos an es senden und im Gegenzug Vorhersagen erhalten können.

Beispielsweise könnte ein Modell Objekte in einem Bild erkennen, eine Bildsegmentierung durchführen, Artikel in einem Lager identifizieren oder Muster in Videomaterial erkennen. In den meisten realen Systemen geschieht dies über eine API oder einen Inferenz-Endpunkt.

Eine Anwendung sendet ein Bild an das Modell, das Modell verarbeitet es und gibt innerhalb von Millisekunden eine Vorhersage zurück. Genau das ermöglicht es Computer-Vision-Modellen wie Ultralytics YOLO, Echtzeitanwendungen zu unterstützen.

Modelle können je nach Anwendungsfall in verschiedenen Umgebungen bereitgestellt werden. Einige laufen in der Cloud (über Cloud-Plattformen) und viele Anwendungen können darauf zugreifen, während andere auf Edge-Geräten wie Vor-Ort-Kameras, Robotern oder eingebetteten Systemen laufen, die schnelle lokale Vorhersagen benötigen.

Link to this sectionOptionen für die KI-Modellbereitstellung auf der Ultralytics Platform#

Während die Ultralytics Platform viele Herausforderungen angeht, denen sich die Computer-Vision-Community gegenübersieht, insbesondere bei der Bereitstellung von Modellen, bietet sie flexible Möglichkeiten zur Durchführung von Inferenzen, je nach den Anforderungen deiner Anwendung.

Hier ist ein kurzer Überblick über die auf der Plattform verfügbaren Optionen zur Modellbereitstellung:

• Modellexport: Du kannst Modelle in 17 verschiedene Formate exportieren, einschließlich ONNX, TensorRT, CoreML und TFLite. Dies ermöglicht es, Modelle in einer Vielzahl von Umgebungen auszuführen, wie z. B. auf Edge-Geräten wie Raspberry Pi und NVIDIA Jetson, in mobilen Apps, Docker-Containern und kundenspezifischen Infrastrukturen.
• Shared Inference: Die Plattform ermöglicht es dir, Vorhersagen über einen verwalteten, gemeinsam genutzten Inferenzdienst auszuführen, was ideal für schnelle Modelltests ist.
• Dedizierte Endpunkte: Stelle Modelle ganz einfach als unabhängige Dienste mit eindeutigen API-URLs bereit, die über 43 globale Regionen hinweg laufen können – inklusive integrierter automatischer Skalierung, Monitoring und Gesundheitschecks für Produktionsbereitstellungen.

Link to this sectionBereitstellung über dedizierte Endpunkte#

Eine der skalierbarsten Möglichkeiten, vortrainierte oder benutzerdefiniert trainierte Computer-Vision-Modelle in der Produktion auf der Ultralytics Platform auszuführen, sind dedizierte Endpunkte. Ein dedizierter Endpunkt erlaubt es dir, ein trainiertes Modell als eigenen Dienst bereitzustellen, sodass Anwendungen Bilder an ihn senden und Vorhersagen über eine API empfangen können.

Anstatt ein Modell nur in einer Trainingsumgebung oder einem lokalen Notebook auszuführen, macht die Bereitstellung als Endpunkt es für reale Anwendungen zugänglich. Ein Lagersystem könnte beispielsweise Bilder von Paketen zur Objekterkennung senden, eine intelligente Kamera könnte Videoframes analysieren oder ein Robotersystem könnte Vorhersagen nutzen, um Aktionen zu steuern.

Jeder dedizierte Endpunkt läuft als Single-Tenant-Dienst, was bedeutet, dass die Infrastruktur, auf der dein Modell läuft, nicht mit anderen Benutzern geteilt wird. Dies sorgt für eine berechenbarere Leistung und erleichtert die Überwachung des Modellverhaltens in der Produktion.

Link to this sectionDie Funktionsweise dedizierter Inferenz-Endpunkte verstehen#

Du kannst dir einen dedizierten Endpunkt als einen gehosteten Dienst für dein Modell vorstellen. Die Ultralytics Platform stellt eine eindeutige Endpunkt-URL bereit, die als Einstiegspunkt für Anwendungen dient.

Wenn eine Anwendung eine Anfrage an diese URL sendet, enthält sie ein Bild und optionale Parameter wie Konfidenzschwellenwerte oder Bildgröße sowie einen API-Schlüssel zur Authentifizierung.

Der Dienst führt die Inferenz für das Bild mithilfe deines Modells aus und gibt die Vorhersagen in einer strukturierten Antwort zurück. Dieses Setup ermöglicht es Entwicklern, Computer-Vision-Modelle mithilfe gängiger Web-Tools in reale Systeme zu integrieren.

Anwendungen können Anfragen über Python, JavaScript, cURL oder andere HTTP-Clients senden, was es einfach macht, Modelle mit Dashboards, Robotersystemen oder Cloud-Anwendungen zu verbinden. Da der Endpunkt unabhängig läuft, unterstützt er zudem Skalierung, Monitoring und globale Bereitstellung, was Teams dabei hilft, zuverlässige Produktionssysteme für Computer Vision aufzubauen.

Link to this sectionMulti-Region-Bereitstellung verbessert Echtzeit-Inferenz#

Ein entscheidender Vorteil dedizierter Endpunkte auf der Ultralytics Platform ist die Möglichkeit, Modelle über 43 globale Regionen bereitzustellen. Diese Regionen umfassen mehrere Teile der Welt, darunter Nordamerika, Südamerika, Europa, Asien-Pazifik sowie den Nahen Osten und Afrika.

Abb. 2. Die Ultralytics Platform unterstützt 43 globale Regionen (Quelle)

Die Bereitstellung von Modellen in Regionen, die näher an den ausführenden Anwendungen liegen, trägt dazu bei, die Latenz zu reduzieren – also die Zeit, die eine Anwendung benötigt, um ein Bild zu senden und eine Vorhersage zu empfangen. Dies kann Unternehmen auch dabei helfen, Anforderungen an den Datenschutz und die Datenspeicherung einzuhalten, indem die Datenverarbeitung näher am Ursprungsort bleibt.

Eine niedrige Latenz ist für viele Computer-Vision-Anwendungen wichtig, die auf Echtzeit-Inferenz angewiesen sind, wie etwa Robotersysteme, Internet-of-Things-Geräte (IoT), industrielle Inspektionsleitungen und Smart-City-Infrastrukturen.

Wenn eine Anwendung beispielsweise primär in Europa genutzt wird, kann die Bereitstellung des Modells in einer europäischen Region die Reaktionszeiten im Vergleich zum Betrieb in einer weit entfernten Region erheblich verbessern.

Link to this sectionBereitstellung in beliebigen Regionen mit der Ultralytics Platform#

Die Bereitstellung eines Modells in einer bestimmten Region ist einfach und dauert normalerweise nur wenige Minuten. Die Plattform kümmert sich um die Infrastruktureinrichtung, damit Entwickler sich auf die Integration des Modells in ihre Anwendungen konzentrieren können. Gehen wir die einzelnen Schritte durch.

Link to this sectionSchritt 1: Modell trainieren oder hochladen#

Bevor du es bereitstellst, benötigst du ein trainiertes Modell in deinem Projekt. Dies kann ein Modell sein, das direkt auf der Ultralytics Platform trainiert wurde, ein Modell, das nach einem Training anderswo hochgeladen wurde, oder ein Modell, das aus einem Community-Projekt aus dem „Explore-Tab“ geklont wurde, wo öffentliche, von anderen Nutzern geteilte Projekte mit einem Klick in dein eigenes Konto kopiert werden können.

Sobald das Modell bereit ist, öffne die entsprechende Modellseite innerhalb deines Projekts, um fortzufahren.

Link to this sectionSchritt 2: Den Tab „Deploy“ öffnen#

Navigiere zum Tab „Deploy“ für das Modell. In diesem Bereich der Plattform kannst du Bereitstellungen konfigurieren und starten.

Auf dieser Seite findest du eine Regionstabelle und eine interaktive Karte, die die verfügbaren Bereitstellungsorte weltweit anzeigt. Die Plattform misst die Latenz von deinem Standort aus und sortiert die Regionen entsprechend, damit du die am besten geeignete Region wählen kannst.

Abb. 3. Nach Latenz sortierte Regionen auf der Ultralytics Platform (Quelle)

Link to this sectionSchritt 3: Eine Bereitstellungsregion auswählen#

Wähle eine Region basierend auf dem Standort deiner Benutzer oder Anwendungen aus. Die Bereitstellung des Modells näher am Ursprung der Anfragen kann die Reaktionszeiten erheblich verkürzen.

Link to this sectionSchritt 4: Den Endpunkt bereitstellen#

Nachdem du die Region ausgewählt und die Konfiguration bestätigt hast, kannst du auf „Deploy“ klicken.

Die Plattform bereitet dann die Bereitstellungsumgebung vor, lädt das Modell-Image herunter, startet den Dienst und führt einen Gesundheitscheck durch, um sicherzustellen, dass der Endpunkt bereit ist. Dieser Prozess dauert in der Regel etwa ein bis zwei Minuten.

Sobald die Bereitstellung abgeschlossen ist, generiert die Plattform eine eindeutige Endpunkt-URL, die Anwendungen verwenden können, um Inferenzanfragen zu senden.

Abb. 4. Ein Beispiel für einen bereitgestellten Endpunkt (Quelle)

Link to this sectionSchritt 5: Senden von Inferenzanfragen starten#

Wenn der Endpunkt läuft, können Anwendungen damit beginnen, Bilder mithilfe des bereitgestellten REST API-Endpunkts und eines API-Schlüssels, der im Authorization-Header übergeben wird, an das Modell zu senden. Der Endpunkt verarbeitet jede Anfrage und gibt Vorhersagen wie erkannte Objekte, Bounding-Boxen oder andere aufgabenspezifische Ausgaben zurück.

Weitere Details zur Modellbereitstellung findest du in der offiziellen Ultralytics Platform-Dokumentation.

Link to this sectionÜberwachung der Modellleistung und Metriken für bereitgestellte Endpunkte#

Sobald ein Computer-Vision-Modell bereitgestellt ist, wird die Überwachung seiner Leistung zu einem wichtigen Bestandteil der Aufrechterhaltung der Systemzuverlässigkeit und Robustheit. Selbst ein gut trainiertes Modell muss in der Produktion beobachtet werden, um sicherzustellen, dass es weiterhin schnell reagiert, eingehende Anfragen ordnungsgemäß verarbeitet und genaue Vorhersagen liefert.

Die Ultralytics Platform bietet integrierte Monitoring-Tools, die Teams Einblick in die Leistung bereitgestellter Endpunkte geben. Die „Deploy“-Seite der Plattform dient als Monitoring-Dashboard und bietet eine zentralisierte Ansicht aller laufenden Endpunkte zusammen mit wichtigen Metriken, die dabei helfen, den Systemzustand und die Nutzung zu verfolgen.

Hier sind einige der Metriken, die du mithilfe der Plattform überwachen kannst:

• P95-Latenz: Diese Metrik misst die 95. Perzentil-Server-seitige Antwortzeit für Inferenzanfragen. Sie gibt Aufschluss darüber, wie lange die meisten Inferenzanfragen dauern, und identifiziert Leistungseinbußen.
• Fehlerrate: Sie stellt den Prozentsatz der Anfragen dar, die innerhalb des ausgewählten Monitoring-Zeitraums fehlgeschlagen sind oder Fehler zurückgegeben haben. Die Überwachung von Fehlerraten ermöglicht es Teams, Probleme bei Bereitstellungen oder eingehenden Anfragen schnell zu erkennen.
• Gesamtzahl der Anfragen: Diese Metrik zeigt die Gesamtzahl der Inferenzanfragen, die über bereitgestellte Endpunkte während des ausgewählten Zeitraums (z. B. die letzten 24 Stunden) verarbeitet wurden. Sie hilft Teams dabei, das Verkehrsaufkommen zu verstehen und zu sehen, wie häufig ihre Modelle genutzt werden.

Zusätzlich zu diesen Metriken bietet die Plattform auch Endpunkt-Gesundheitschecks und Bereitstellungsprotokolle. Gesundheitschecks zeigen an, ob ein Endpunkt korrekt reagiert, während Protokolle detaillierte Informationen über kürzliche Anfragen und Systemaktivitäten liefern.

Link to this sectionWichtige Erkenntnisse#

Die Bereitstellung von Computer-Vision-Modellen ist ein entscheidender Schritt, um aus trainierten Modellen Systeme zu machen, die reale Anwendungen antreiben. Mit der Ultralytics Platform können Teams Modelle einfach über dedizierte Endpunkte in 43 globalen Regionen bereitstellen, Echtzeit-Inferenzen über APIs durchführen und die Leistung in einer einzigen Umgebung überwachen. Durch die Kombination flexibler Bereitstellungsoptionen, integriertem Monitoring und skalierbarer Infrastruktur hilft die Plattform Entwicklern dabei, schneller von trainierten Machine-Learning-Modellen zu zuverlässigen Computer-Vision-Anwendungen zu gelangen.

Werde Teil unserer wachsenden Community! Tauche in unser GitHub-Repository ein, um mehr über KI zu erfahren. Wenn du Computer-Vision-Lösungen entwickeln möchtest, schau dir unsere Lizenzierungsoptionen an. Entdecke die Vorteile von Computer Vision im Gesundheitswesen und sieh dir an, wie KI in der Logistik einen Unterschied macht!