Dedizierte Inferenzendpunkte oder gemeinsam genutzte Inferenz für die Bereitstellung
Erfahre, wann dedizierte Inferenzendpunkte auf der Ultralytics Platform für eine skalierbare Vision-KI-Bereitstellung mit niedriger Latenz die bessere Wahl als gemeinsam genutzte Inferenz sind.
Kürzlich haben wir die Ultralytics Platform vorgestellt, eine Komplettlösung, die den gesamten Computer-Vision-Arbeitsablauf an einem Ort vereint – von der Vorbereitung der Datensätze und dem Modelltraining bis hin zu Inferenz, Bereitstellung und Überwachung.
Die Plattform wurde auf Grundlage des Feedbacks aus der Computer-Vision-Community entwickelt und soll jede Entwicklungsphase vereinfachen. Dafür bietet sie integrierte Funktionen, die den gesamten Lebenszyklus von KI-Anwendungen für Computer Vision unterstützen.
Sobald ein Modell trainiert wurde, besteht der nächste Schritt beispielsweise darin, es bereitzustellen, damit es Inferenz ausführen und Vorhersagen in realen Anwendungen liefern kann. Die Plattform macht diesen Vorgang unkompliziert und bietet mehrere Bereitstellungsoptionen.
Du kannst Modelle exportieren, um sie in deiner eigenen Umgebung auszuführen, die gemeinsame Inferenz für schnelle Tests nutzen oder dedizierte Endpunkte für skalierbare, produktionsreife Anwendungen bereitstellen. Mit all diesen Bereitstellungsoptionen kannst du KI-Inferenz ausführen, doch sie sind für unterschiedliche Phasen und Anwendungsfälle ausgelegt.
Abb. 1: Die Ultralytics Platform ermöglicht die skalierbare, weltweite Bereitstellung von KI-Modellen für Computer Vision (Quelle)
Der Modellexport gibt dir die volle Kontrolle, Modelle auf deiner eigenen Infrastruktur auszuführen. Mit gemeinsamer Inferenz kannst du sie einfach und ohne Einrichtung testen. Dedizierte Endpunkte sind für zuverlässige Produktionslasten in großem Maßstab ausgelegt.
Auf den ersten Blick wirken gemeinsame Inferenz und dedizierte Endpunkte möglicherweise sehr ähnlich. Mit beiden kannst du API-Anfragen an dein Modell senden und strukturierte Vorhersagen empfangen, sodass sich KI für Computer Vision leicht in Anwendungen integrieren lässt.
Wenn deine Arbeitslasten jedoch zunehmen und deine Computer-Vision-Anwendungen Echtzeitanfragen für Inferenz verarbeiten, werden die Unterschiede zwischen diesen Optionen wichtiger. In diesem Artikel vergleichen wir gemeinsame Inferenz und dedizierte Endpunkte, erläutern, wann du die jeweilige Option einsetzen solltest, und erklären, warum dedizierte Endpunkte bei einer Skalierung deiner Anwendungen zur besseren Wahl werden.
Ein Überblick über die Bereitstellung mit gemeinsamer Inferenz#
Gemeinsame Inferenz ist eine einfache Möglichkeit, KI-Inferenz mit deinen Modellen auszuführen, ohne Infrastruktur einzurichten oder dich um GPU-Typen, die Integration von Frameworks oder die Laufzeitkonfiguration kümmern zu müssen. Sobald dein Modell trainiert oder feinabgestimmt ist, kannst du damit direkt über die Plattform Vorhersagen erstellen.
Bei diesem Setup läuft dein Modell auf gemeinsam genutzten Rechenressourcen mit mehreren Mandanten in einigen zentralen Regionen, etwa in den USA, Europa und im asiatisch-pazifischen Raum. Anfragen werden automatisch an verfügbare Dienste weitergeleitet, sodass du keine GPU-Instanzen oder Laufzeitumgebungen konfigurieren musst. Die Plattform übernimmt alles für dich und erleichtert den Einstieg.
Bei der gemeinsamen Inferenz sendest du Anfragen über eine REST API mit Tools wie Python oder der CLI an dein Modell und erhältst strukturierte JSON-Ausgaben, etwa erkannte Objekte, Konfidenzwerte und weitere Vorhersagedetails. So kannst du Modelle problemlos testen und in Anwendungen integrieren.
Da das System gemeinsam genutzt wird, ist es für Entwicklung, Tests und eine geringe Nutzung ausgelegt. Es eignet sich gut, um Vorhersagen zu überprüfen und erste Integrationen zu erstellen. Die Leistung kann jedoch je nach Systemauslastung schwanken. Außerdem ist die Nutzung auf 20 Anfragen pro Minute und API-Schlüssel begrenzt, weshalb sich diese Option weniger für Produktionslasten mit hohem Durchsatz eignet.
Insgesamt eignet sich gemeinsame Inferenz am besten für die frühe Entwicklungsphase, in der du dein Modell verstehen und verbessern möchtest, bevor du zu Anwendungen in größerem Maßstab übergehst.
Modelle weltweit über dedizierte Endpunkte bereitstellen#
Dedizierte Endpunkte sind Inferenzdienste mit jeweils nur einem Mandanten, bei denen deine KI-Modelle für Computer Vision auf isolierten Rechenressourcen laufen. Statt die Infrastruktur gemeinsam zu nutzen, verfügt jeder Endpunkt über eine eigene Laufzeitumgebung mit konfigurierbaren Ressourcen wie CPU und Arbeitsspeicher. Dadurch hast du mehr Kontrolle über die Leistung.
Wenn du ein Modell als dedizierten Endpunkt bereitstellst, erhält es eine eindeutige API-URL und verwendet deinen API-Schlüssel zur Authentifizierung, sodass es sich einfach in Anwendungen integrieren lässt. Diese Endpunkte können in 43 Regionen weltweit bereitgestellt werden. So kannst du Inferenz näher an deinen Nutzern ausführen und die Latenz verringern.
Abb. 2: Du kannst dedizierte Endpunkte in 43 Regionen weltweit bereitstellen (Quelle)
Ein entscheidender Vorteil ist die automatische Skalierung. Endpunkte passen sich automatisch an eingehende Anfragen an: Bei höherem Datenverkehr werden sie hochskaliert, bei sinkender Nachfrage herunter. Da die Skalierung auf null standardmäßig aktiviert ist, können Endpunkte im Leerlauf heruntergefahren und bei Bedarf neu gestartet werden. So lässt sich die Ressourcennutzung optimieren.
Anders gesagt: Dedizierte Endpunkte sind für Produktionslasten ausgelegt. Im Vergleich zur gemeinsamen Inferenz bieten sie eine gleichbleibend niedrige Latenz, einen höheren Durchsatz und mehr Zuverlässigkeit.
Außerdem gibt es bei dedizierten Endpunkten keine Ratenbegrenzungen. Anfragen gehen direkt an deinen Endpunkt. Wie viel Datenverkehr du verarbeiten kannst, hängt daher von deinem Setup und der Skalierung ab, nicht von festen Grenzwerten.
Darüber hinaus erleichtern die integrierte Überwachung, Protokolle, Zustandsprüfungen sowie das vorhersehbare Laufzeit- und Startverhalten die Leistungsüberwachung und den zuverlässigen Betrieb stabiler Bereitstellungen in allen Tarifen. Im kostenlosen Tarif dauern Kaltstarts in der Regel 5 bis 45 Sekunden, während Endpunkte im Pro-Tarif warm bleiben und dadurch eine schnellere und besser vorhersehbare Inferenzleistung bieten.
Kurz gesagt: Dedizierte Endpunkte eignen sich ideal für Echtzeitanwendungen im Bereich KI für Computer Vision, die zuverlässige, skalierbare und leistungsstarke Inferenz erfordern.
Gemeinsame Inferenz und dedizierte Endpunkte: die wichtigsten Unterschiede#
Hier erfährst du genauer, worin sich gemeinsame Inferenz und dedizierte Endpunkte unterscheiden:
- Latenz: In gemeinsam genutzten Umgebungen kann die Latenz aufgrund gemeinsam genutzter Ressourcen schwanken. Dedizierte Endpunkte liefern dagegen gleichmäßigere Antworten mit niedriger Latenz.
- Regionen: Gemeinsame Inferenz ist in einigen Regionen verfügbar (USA, EU, AP), während dedizierte Endpunkte in 43 Regionen weltweit bereitgestellt werden können.
- Skalierbarkeit: Bei gemeinsamer Inferenz lässt sich die Skalierung nicht konfigurieren. Dedizierte Endpunkte skalieren dagegen automatisch entsprechend dem eingehenden Datenverkehr.
- Ratenbegrenzungen: Die gemeinsame Inferenz ist auf 20 Anfragen beziehungsweise API-Aufrufe pro Minute und API-Schlüssel begrenzt. Für dedizierte Endpunkte gibt es keine plattformseitigen Ratenbegrenzungen.
- Preisgestaltung: Die gemeinsame Inferenz ist für Tests und Entwicklung ohne zusätzliche Kosten enthalten. Dedizierte Endpunkte bieten mehr Kontrolle und Skalierbarkeit; die Nutzungskosten richten sich nach der Ressourcenkonfiguration und den Anforderungen an die Bereitstellung.
Warum dedizierte Endpunkte für Produktionslasten besser geeignet sind#
Wenn KI- und Machine-Learning-Anwendungen von Tests in den praktischen Einsatz übergehen, werden Leistung, Skalierbarkeit und Zuverlässigkeit entscheidend. Deshalb bieten dedizierte Endpunkte klare Vorteile gegenüber gemeinsamer Inferenz.
Mit dedizierten Endpunkten läuft dein vortrainiertes oder angepasstes Modell auf eigenen Rechenressourcen, sodass andere Nutzer die Leistung nicht beeinträchtigen. Das trägt zu einer niedrigen, gleichbleibenden Latenz bei, was für Echtzeitanwendungen wie Videoanalysen und Überwachungssysteme wichtig ist.
Abb. 3: Einblick in die Bereitstellung über einen dedizierten Inferenzendpunkt (Quelle)
Stell dir zum Beispiel ein Analysesystem für den Einzelhandel vor, das Live-Kamerabilder aus mehreren Filialen verarbeitet. Wenn du Endpunkte in 43 Regionen weltweit bereitstellst, kann die Inferenz näher an jeder Filiale ausgeführt werden. Das verringert die Latenz und verbessert die Reaktionszeiten.
Bei gemeinsamer Inferenz, bei der Ressourcen gemeinsam genutzt werden und nur wenige Regionen zur Verfügung stehen, kann die Leistung zu Zeiten hoher Auslastung schwanken.
Dedizierte Endpunkte können auch ein höheres Anfrageaufkommen bewältigen und sich automatisch an die Nachfrage anpassen. Dank integrierter Überwachung, Protokolle und Zustandsprüfungen liefern sie eine besser vorhersehbare Leistung und eignen sich daher für umfangreiche, kontinuierliche KI-Arbeitslasten.
Die Rolle gemeinsamer Inferenz im Arbeitsablauf für KI-gestützte Computer Vision#
Wenn du die Unterschiede zwischen gemeinsamer Inferenz und dedizierten Endpunkten kennenlernst, fragst du dich vielleicht, welche Rolle gemeinsame Inferenz im gesamten Arbeitsablauf für Computer Vision spielt.
Sehen wir uns noch einmal das Beispiel der Einzelhandelsanalyse an. Bevor eine Lösung für Computer Vision in mehreren Filialen bereitgestellt wird, müssen Teams in der Regel testen, wie sie sich mit echten Daten verhält, und sie anhand der Ergebnisse weiterentwickeln.
Mit gemeinsamer Inferenz ist dieser Vorgang ganz einfach: Du kannst Beispielbilder oder Videobilder von den Kameras der Filialen senden und die Vorhersagen schnell prüfen, ohne Infrastruktur einzurichten. Das ist besonders nützlich, um das Modellverhalten zu testen, fehlerhafte Vorhersagen zu untersuchen und Ergebnisse unter unterschiedlichen Bedingungen zu überprüfen, etwa bei wechselnden Lichtverhältnissen oder einer anderen Anordnung der Filiale.
Durch solche schrittweisen Verbesserungen können Teams die Genauigkeit und Zuverlässigkeit des Modells erhöhen, bevor sie es in der Produktion einsetzen. Sobald das Modell in diesen Testszenarien gute Ergebnisse liefert, kann es für den Echtzeiteinsatz an mehreren Standorten auf dedizierten Endpunkten bereitgestellt werden.
Gemeinsame Inferenz kann sich auch für Anwendungen mit geringer oder gelegentlicher Nutzung eignen. Ein kleines Einzelhandelsgeschäft kann damit beispielsweise gelegentlich den Kundenverkehr analysieren oder zu bestimmten Zeiten die Kundenaktivität überprüfen, ohne eine Bereitstellung für einen größeren Umfang zu benötigen. In solchen Fällen bietet sie eine einfache und kostengünstige Möglichkeit, Inferenz bei Bedarf auszuführen.
Praxisbeispiele für dedizierte Endpunkte#
Wenn KI-Anwendungen über die Testphase hinausgehen, wirkt sich die Wahl der Bereitstellung unmittelbar auf Leistung, Skalierbarkeit und Nutzererfahrung aus. Dedizierte Endpunkte lassen sich branchenübergreifend einsetzen, da sie eine stabile Leistung und niedrige Latenz bieten und umfangreiche Arbeitslasten bewältigen können.
Hier sind einige typische Anwendungsfälle, die zeigen, wie dedizierte Endpunkte in der Praxis eingesetzt werden können:
- Einzelhandel und Videoanalyse: Eine Einzelhandelskette kann mit Computer Vision die Bewegungen von Kunden verfolgen, beliebte Produkte erkennen und die Aktivitäten in ihren Filialen in Echtzeit überwachen. Dedizierte Endpunkte sorgen für schnelle, gleichbleibende Inferenz an mehreren Standorten, auch zu Spitzenzeiten.
- Fertigung und Qualitätsprüfung: In einer Produktionslinie können Modelle Fehler oder Anomalien erkennen, während die Produkte die Anlage durchlaufen. Dedizierte Endpunkte unterstützen kontinuierliche Echtzeit-Inferenz und helfen Teams so, Probleme frühzeitig zu erkennen und die Produktqualität zu sichern, ohne den Betrieb zu verlangsamen.
- Gesundheitswesen und medizinische Bildgebung: Gesundheitsdienstleister und Diagnoselabore können sich auf Modelle für Computer Vision verlassen, um medizinische Bilder wie Röntgenaufnahmen oder Scans zu analysieren. Dedizierte Endpunkte bieten eine zuverlässige, gleichbleibende Leistung, die beim Umgang mit sensiblen Daten und zeitkritischen Diagnosen entscheidend ist.
- Automatisierung in Lager und Logistik: In großen Lagern kommen oft mehrere identische Systeme zum Einsatz, etwa Förderbänder und Sortieranlagen, die im Wesentlichen gleiche Abläufe wiederholen. Modelle für Computer Vision können jedes dieser Systeme überwachen und Probleme wie Staus oder falsch geleitete Pakete erkennen. Dedizierte Endpunkte sorgen in Echtzeit für eine gleichbleibende Inferenz über alle Systeme hinweg.
Von gemeinsamer Inferenz zu dedizierten Endpunkten wechseln#
Ein wichtiger Vorteil der Ultralytics Platform ist der einfache Wechsel von gemeinsamer Inferenz zu dedizierten Endpunkten, wenn deine Anwendung wächst. Statt Tools zu wechseln oder dein Setup neu aufzubauen, kannst du in derselben Umgebung zu einer produktionsreifen Bereitstellung wechseln.
Nachdem du dein Modell mit gemeinsamer Inferenz getestet hast, ist der Wechsel zu einem dedizierten Endpunkt ein naheliegender nächster Schritt. Du kannst dasselbe Modell an einem Endpunkt bereitstellen, deine bevorzugte Region und Rechenressourcen auswählen und die Endpunkt-URL in deiner Anwendung aktualisieren. Die Integration bleibt im Wesentlichen gleich, sodass sich kaum etwas daran ändert, wie du Anfragen sendest oder Antworten verarbeitest.
Abb. 4: Eine dedizierte Endpunkt-URL auf der Ultralytics Platform anzeigen (Quelle)
So kannst du mit wenigen Klicks vom Testbetrieb zur Produktion wechseln. Wenn deine Arbeitslast zunimmt oder deine Anwendung eine gleichmäßigere Leistung erfordert, kannst du zu dedizierten Endpunkten wechseln, ohne deinen bestehenden Arbeitsablauf zu unterbrechen.
Weitere Informationen zur Bereitstellung von Modellen über dedizierte Endpunkte auf der Ultralytics Platform findest du in der offiziellen Dokumentation zur Ultralytics Platform.
Die wichtigsten Erkenntnisse#
Gemeinsame Inferenz ist ein guter Einstieg für Tests und Experimente, aber Produktionslasten erfordern mehr Beständigkeit und Skalierbarkeit. Wenn Anwendungen wachsen, bieten dedizierte Endpunkte die nötige Leistung und Zuverlässigkeit für den Einsatz in der Praxis. Damit sind sie für die meisten Produktionsbereitstellungen die beste Wahl.
Werde Teil unserer Community und sieh dir unser GitHub-Repository an, um mehr über Modelle für Computer Vision zu erfahren. Lies auf unseren Lösungsseiten über Anwendungsbereiche wie KI in der Landwirtschaft und Computer Vision in der Robotik. Sieh dir unsere Lizenzoptionen an und leg mit KI für Computer Vision los.
