So vereinfacht die Ultralytics Platform die Bereitstellung von Computer-Vision-Modellen

Ultralytics arbeitet seit Jahren mit der Computer-Vision-Community zusammen und entwickelt Modelle und Tools, die KI für die Bildverarbeitung für alle zugänglicher machen. Mit der Ultralytics Platform gehen wir noch einen Schritt weiter und führen den gesamten Entwicklungsablauf für Computer Vision in einer einheitlichen Umgebung zusammen – von der Verwaltung und Annotation von Datensätzen bis hin zu Training, Validierung und Bereitstellung von Modellen.

Besonders freuen wir uns darauf, die Bereitstellung von Computer-Vision-Modellen zu vereinfachen. Da Computer Vision zunehmend in realen Anwendungen eingesetzt wird, bleibt die Analyse von Bildern und Videos außerhalb kontrollierter Umgebungen komplex.

Im Gegensatz zu Testumgebungen mit vorhersehbaren Bedingungen umfassen reale Szenarien wechselnde Lichtverhältnisse, sich verändernde Eingaben und unvorhersehbare Arbeitslasten. Dadurch wird die Bereitstellung zu einem der anspruchsvollsten Teile des Computer-Vision-Ablaufs.

Bei der Bereitstellung geht es um mehr, als ein Modell lediglich zur Nutzung verfügbar zu machen. Du musst Prozesse einrichten, die mit realen Daten umgehen können, und sicherstellen, dass alles reibungslos funktioniert, wenn die Nutzung zunimmt und Projekte größer werden.

Teams müssen außerdem die Leistung verfolgen und die Zuverlässigkeit langfristig aufrechterhalten. Dafür müssen sie häufig zwischen verschiedenen KI-Tools für Tests, Integration, Bereitstellung und Überwachung wechseln, was die Modellentwicklung verlangsamen und unnötige Komplexität verursachen kann.

Dadurch werden Arbeitsabläufe fragmentiert. Die Ultralytics Platform führt diesen Prozess zusammen und vereinfacht ihn.

Sie bietet integrierte Unterstützung für das Bereitstellen, Testen und Überwachen von Modellen in einer einzigen Umgebung. Teams können Modelle mithilfe browserbasierter Inferenz validieren, sie über gemeinsame Inferenzdienste in Anwendungen integrieren und auf dedizierten Endpunkten mit Funktionen zur Leistungsüberwachung bereitstellen.

Abb. 1. Ein Blick auf die Bereitstellungsseite in der Ultralytics Platform (Quelle)

In diesem Artikel zeigen wir, wie die Ultralytics Platform die Bereitstellung von Computer-Vision-Modellen neu definiert – vom Testen und der Integration bis zur Bereitstellung in der Produktion und Überwachung. Legen wir los!

Ein Überblick über die Bereitstellung von Computer-Vision-Modellen#

Im Lebenszyklus des maschinellen Lernens bezeichnet die Modellbereitstellung die Phase, in der ein Modell von der Experimentierphase in die reale Nutzung übergeht. Bei Computer-Vision-Modellen, die mit Deep Learning und neuronalen Faltungsnetzen erstellt wurden, bedeutet dies in der Regel, sie zur Echtzeitverarbeitung von Bildern und Videos verfügbar zu machen.

Nach der Bereitstellung nehmen diese Modelle neue Daten auf, die normalerweise Verarbeitungsschritte wie Größenänderung, Normalisierung oder Formatierung durchlaufen. Die verarbeiteten Daten werden anschließend an das Modell übergeben. Dieses wendet während des Trainings gelernte Muster an, um hochpräzise Vorhersagen zu erzeugen.

Je nach Anwendungsfall kann dies verschiedene Computer-Vision-Aufgaben umfassen. Die Ultralytics-YOLO-Modelle, etwa Ultralytics YOLO26, unterstützen beispielsweise ein breites Spektrum an Aufgaben, darunter Objekterkennung, Bildklassifizierung, Instanzsegmentierung, Posenschätzung und die Erkennung orientierter Begrenzungsboxen (OBB).

Damit dies in realen Anwendungen praktikabel ist, müssen Modelle häufig in Systeme integriert werden, die sowohl die Vorverarbeitung als auch die Inferenz effizient bewältigen können. Hier wird die Infrastruktur für die Bereitstellung unverzichtbar.

In Produktionsumgebungen werden Modelle typischerweise über REST APIs oder Systeme zur Modellbereitstellung angesprochen. Diese Schnittstellen ermöglichen es Anwendungen, Daten programmgesteuert zu senden und Vorhersagen zu empfangen. Dadurch lassen sie sich leichter in externe Anwendungen, IoT-Geräte oder Robotiksysteme integrieren, die auf visuelles Verständnis in Echtzeit angewiesen sind.

Einschränkungen herkömmlicher Tools für die Bereitstellung von Computer Vision#

Die Bereitstellung von Computer-Vision-Modellen mag unkompliziert klingen, sah in der Praxis bisher jedoch ganz anders aus. Betrachte ein typisches Setup: Zunächst werden Daten von Kameras oder Sensoren erfasst, zur Inferenz an ein Modell gesendet und anschließend als Vorhersagen an eine Anwendung zurückgegeben.

In der Realität wird jeder dieser Schritte häufig von separaten Tools und Diensten übernommen. Ein System kann die Datenerfassung übernehmen, ein anderes die Modellbereitstellung, während zusätzliche Tools für Skalierung, Überwachung und Protokollierung eingesetzt werden. Diese Komponenten verbunden zu halten und zuverlässig zu betreiben, kann schnell komplex werden.

Mit zunehmender Nutzung steigt diese Komplexität. Die Verwaltung der Infrastruktur, der Umgang mit Abhängigkeiten und die Aufrechterhaltung einer konsistenten Leistung über die gesamte Pipeline hinweg können die Entwicklung verlangsamen und die Bereitstellung von Computer-Vision-Modellen in realen Anwendungen erschweren.

Die Ultralytics Platform führt diese Komponenten in einer einzigen, einheitlichen Umgebung zusammen. Dadurch lässt sich der gesamte Bereitstellungsablauf kohärenter verwalten, während Leistung und Zuverlässigkeit auch bei großer Auslastung unterstützt werden.

Von der Ultralytics Platform unterstützte Optionen für die Modellbereitstellung#

Die Ultralytics Platform führt nicht nur den Prozess der Modellbereitstellung zusammen, sondern bietet auch Flexibilität bei der Bereitstellung und Nutzung von Modellen.

Um die verschiedenen Phasen der Bereitstellung von Computer-Vision-Modellen zu unterstützen, bietet die Plattform vier Optionen: browserbasiertes Testen mit sofortiger Inferenz, gemeinsame Inferenz über APIs für die Entwicklung, dedizierte Endpunkte für skalierbare Produktionsbereitstellungen in globalen Regionen sowie den Modelle­xport zur Ausführung von Modellen auf externer Infrastruktur oder Edge-Geräten.

Schauen wir uns nun genauer an, wie diese Optionen jeweils funktionieren.

Modelle schnell mit dem Tab „Predict“ validieren#

Bevor du ein Modell in die Produktion überführst, ist es wichtig zu verstehen, wie es sich bei neuen, unbekannten Daten verhält. Die Ultralytics Platform enthält einen integrierten Tab „Predict“, mit dem du Inferenz ausführen kannst – direkt im Browser und ohne Einrichtung, Infrastruktur oder Abhängigkeiten.

Der Tab „Predict“ macht die Modellvalidierung schnell und interaktiv. Du kannst Bilder hochladen, vorinstallierte Beispiele verwenden oder Eingaben mit einer Webcam erfassen. Die Inferenz wird automatisch ausgeführt, sobald Daten bereitgestellt werden.

Die Ergebnisse erscheinen sofort mit visuellen Einblendungen, Konfidenzwerten und detaillierten Ausgaben. So erhältst du einen klaren Überblick über das Verhalten des Modells.

Abb. 2. Beispiel für die Validierung eines Modells mit dem Tab „Predict“ (Quelle)

Mit wenigen Klicks kannst du so verschiedene Eingaben testen, Parameter anpassen und die Leistung in einer einzigen Oberfläche bewerten, bevor du zur Bereitstellung übergehst.

Gemeinsame Inferenzen für Tests oder geringere Auslastung ausführen#

Nehmen wir an, du hast ein Modell trainiert und mit dem Tab „Predict“ validiert. Der nächste Schritt besteht häufig darin, das Modell in eine Anwendung oder einen Arbeitsablauf zu integrieren.

Statt Infrastruktur einzurichten oder Server zu verwalten, bietet die Ultralytics Platform gemeinsame Inferenzdienste. Damit kannst du Daten über einfache REST APIs an dein Modell senden und Vorhersagen empfangen.

Im Hintergrund läuft die gemeinsame Inferenz auf einem mandantenfähigen System in einigen zentralen Regionen. Anfragen werden automatisch an den nächstgelegenen verfügbaren Dienst weitergeleitet. So bleibt die Leistung reaktionsschnell, während Nutzer an verschiedenen Standorten konsistent auf Modelle zugreifen können.

Du kannst Eingaben mithilfe standardmäßiger HTTP-Anfragen senden und strukturierte Ausgaben empfangen. Dadurch lassen sich Modelle unkompliziert mit Anwendungen, Skripten oder automatisierten Arbeitsabläufen verbinden. Diese Einrichtung eignet sich hervorragend für Entwicklung, Tests, Integrationen oder eine geringere Auslastung, bevor du zu besser skalierbaren Produktionsbereitstellungen übergehst.

Modelle über dedizierte Endpunkte weltweit bereitstellen#

Sobald ein Modell für die Produktion bereit ist, muss es realen Datenverkehr zuverlässig und in großem Umfang bewältigen. Die Ultralytics Platform unterstützt dich dabei mit dedizierten Endpunkten, auf denen Modelle als mandantenexklusive Dienste in 43 globalen Regionen ausgeführt werden. Durch die Bereitstellung näher bei den Endnutzern lassen sich Latenzen reduzieren und eine konstante Leistung an verschiedenen Standorten aufrechterhalten.

Jeder Endpunkt verfügt über eigene zugewiesene Rechenressourcen und eine eindeutige URL für Inferenzanfragen. Durch dieses Maß an Kontrolle kannst du Bereitstellungen einfach an die Leistungsanforderungen anpassen – von leichten Anwendungsfällen bis hin zu anspruchsvolleren Anwendungen mit hohem Durchsatz, die mehr Rechenressourcen benötigen.

Abb. 3. Mit der Ultralytics Platform kannst du Modelle in 43 globalen Regionen bereitstellen (Quelle)

Dedizierte Endpunkte sind jedoch darauf ausgelegt, wechselnde Arbeitslasten selbstständig zu bewältigen. Die automatische Skalierung passt die Ressourcen an den eingehenden Datenverkehr an. Bei hoher Nachfrage werden die Ressourcen hochskaliert und bei sinkender Nutzung wieder reduziert. Da die Skalierung auf null standardmäßig aktiviert ist, werden inaktive Endpunkte automatisch heruntergefahren und bei neuen Anfragen neu gestartet. So lässt sich die Ressourcennutzung ohne manuelles Eingreifen optimieren.

Exportiere dein Modell einfach mit der Ultralytics Platform#

Edge-KI wird zunehmend unverzichtbar, da immer mehr Anwendungen auf die direkte Ausführung von Modellen auf Geräten wie Smartphones, Kameras und eingebetteten Systemen setzen. Die lokale Ausführung von Modellen kann außerdem dabei helfen, Datenschutzanforderungen zu erfüllen, da sensible Daten wie Bilder oder Videostreams direkt auf dem Gerät verarbeitet werden können, ohne sie an externe Server zu senden.

In diesen Szenarien müssen Modelle außerhalb der Ultralytics Platform ausgeführt werden, wodurch der Modelle­xport zu einem entscheidenden Teil des Bereitstellungsprozesses wird. Ultralytics-YOLO-Modelle werden häufig mit Python und PyTorch trainiert und können anschließend in mehr als 17 verschiedene Formate exportiert werden, darunter ONNX, TensorRT, CoreML und OpenVINO.

Diese große Auswahl an Formaten gewährleistet die Kompatibilität mit vielfältiger Hardware – von leistungsstarken Grafikprozessoren (GPUs) bis hin zu mobilen und eingebetteten Geräten. Darüber hinaus ermöglicht der Export die Leistungsoptimierung für bestimmte Umgebungen.

Je nach Format können Modelle höhere Inferenzgeschwindigkeiten erreichen, etwa durch eine verbesserte GPU-Leistung mit TensorRT oder eine optimierte CPU-Ausführung mit ONNX und OpenVINO. Optionen wie die FP16- und INT8-Quantisierung können die Modellgröße weiter verringern und den Durchsatz verbessern, was besonders für Edge-Bereitstellungen nützlich ist.

Auf der Ultralytics Platform ist der Export direkt in den Arbeitsablauf integriert. Dadurch kannst du mit wenigen Klicks schnell optimierte Modelle erstellen. Teams können vom Training zur Ausführung von Modellen auf externen Systemen wechseln, ohne zusätzlichen Aufwand zu verursachen.

Abb. 4. Eine Auswahl an Exportformaten auf der Ultralytics Platform.

Die richtige Option für die Modellbereitstellung auswählen#

Jede Bereitstellungsoption der Ultralytics Platform unterstützt eine andere Phase des Arbeitsablaufs – vom ersten Test bis zum Produktionseinsatz. Hier findest du einen Überblick darüber, wann du welche Option verwenden kannst:

• Tab „Predict“: Diese Option wird typischerweise direkt nach dem Training oder Feinabstimmen verwendet, wenn du die Leistung eines Modells bei neuen Daten mithilfe browserbasierter Inferenz validieren möchtest.
• Gemeinsame Inferenz: In dieser Phase können Modelle über APIs in Anwendungen integriert werden. So lassen sich reale Interaktionen während der Entwicklung testen.
• Dedizierte Endpunkte: Diese werden für Produktionsbereitstellungen verwendet, bei denen Modelle eine konstante Leistung, dedizierte Ressourcen und die Möglichkeit zur Skalierung über globale Regionen hinweg benötigen.
• Modellexport: Wenn Modelle außerhalb der Plattform ausgeführt werden müssen, ermöglicht der Export ihre Bereitstellung auf Edge-Geräten, in mobilen Apps oder auf individueller Infrastruktur.

Teams durchlaufen diese Optionen häufig Schritt für Schritt – von der Validierung über die Integration bis hin zur Bereitstellung in der Produktion, und das alles innerhalb der Plattform.

Bereitgestellte Modelle mit der Ultralytics Platform überwachen#

So wichtig die Bereitstellung auch ist, der Computer-Vision-Ablauf endet nicht dort. Sobald ein Modell in der Produktion läuft, ist eine kontinuierliche Überwachung entscheidend, damit es langfristig zuverlässig funktioniert.

Die Ultralytics Platform bietet integrierte Überwachungstools, die Teams einen klaren Einblick in das langfristige Verhalten ihrer Computer-Vision-KI-Modelle geben und einen strukturierteren Ablauf für den Betrieb maschineller Lernsysteme (MLOps) unterstützen.

Die Seite „Deploy“ enthält ein Dashboard, das wichtige Kennzahlen wie die Gesamtzahl der Anfragen, aktive Bereitstellungen, Antwortlatenz und Fehlerraten verfolgt. Diese Einblicke helfen Teams, Nutzungsmuster zu verstehen, die Reaktionsfähigkeit des Systems zu bewerten und eine niedrige Latenz bei verschiedenen Arbeitslasten sicherzustellen.

Abb. 5. Die Ultralytics Platform erleichtert die Überwachung bereitgestellter Modelle. (Quelle)

Jeder dedizierte Endpunkt bietet außerdem über individuelle Ansichten der Bereitstellungen detaillierte Möglichkeiten zur Beobachtung. Dazu gehören der Zugriff auf Protokolle, der Status der Modellgesundheit und Leistungsdaten in Echtzeit. Protokolle können zum Beheben von Problemen, Nachverfolgen fehlgeschlagener Anfragen und Erkennen potenzieller Probleme im Zusammenhang mit Abhängigkeiten oder der Infrastruktur verwendet werden.

Mit der Weiterentwicklung von Produktionsumgebungen können Faktoren wie veränderte Eingabedaten, steigende Skalierungsanforderungen oder wechselnde Nutzungsmuster die Genauigkeit und Robustheit von Modellen beeinflussen. Durch die kontinuierliche Überwachung von Leistungskennzahlen können Teams Anomalien erkennen, Engpässe identifizieren und korrigierende Maßnahmen wie Modelloptimierungen oder Anpassungen der Ressourcen ergreifen, um eine konstante und zuverlässige Modellbereitstellung aufrechtzuerhalten.

Skalierbarkeit in Bereitstellungen von Computer-Vision-Modellen integrieren#

Die Skalierung von Computer-Vision-Systemen bedeutete traditionell, Arbeitsabläufe und Frameworks miteinander zu verbinden, die nie für ein gemeinsames Zusammenspiel entwickelt wurden. Datenpipelines, Trainingsschleifen, Bereitstellungsinfrastruktur und Überwachungssysteme sind häufig auf verschiedene Orte verteilt, wodurch in jeder Phase Reibungsverluste entstehen.

Die eigentliche Herausforderung besteht nicht nur darin, Modelle zu erstellen, sondern sie in Bewegung zu halten: von den Daten bis zur Produktion zu gelangen, sich an neue Eingaben anzupassen, eine steigende Nachfrage zu bewältigen und sich kontinuierlich zu verbessern, ohne langsamer zu werden.

Was an der Ultralytics Platform besonders auffällt, ist, dass diese Bewegung bereits integriert ist. Statt jede Phase als separaten Schritt zu behandeln, verbindet sie die Phasen zu einer kontinuierlichen Schleife, in der Modelle in derselben Umgebung entwickelt, bereitgestellt, beobachtet und aktualisiert werden können.

Dieser Wandel verändert die Art und Weise, wie Teams skalieren. Es geht nicht mehr um die Orchestrierung von Tools oder Infrastruktur, sondern darum, den Fortschritt aufrechtzuerhalten, während Systeme wachsen.

Wichtige Erkenntnisse#

Die Integration von maschinellen Lernmodellen wie Computer-Vision-Modellen in reale Anwendungen erfordert Zuverlässigkeit, Skalierbarkeit und einfache Verwaltung. Die Ultralytics Platform vereinfacht diesen Prozess, indem sie verschiedene Funktionen wie Modellbereitstellung, Deployment und Überwachung in einer einheitlichen Umgebung zusammenführt. Mit flexiblen Bereitstellungsoptionen und integrierten Tools können Teams schneller und mit weniger Komplexität vom Experimentieren zur Produktion wechseln.

Besuche unsere Community und erkunde unser GitHub-Repository, um mehr zu erfahren. Auf unseren Lösungsseiten findest du verschiedene Anwendungen wie KI im Gesundheitswesen und Computer Vision in der Logistik. Entdecke unsere Lizenzoptionen und beginne noch heute mit der Entwicklung!