Model Serving

Modell-Bereitstellung ist der Prozess, bei dem ein trainiertes Machine-Learning-Modell gehostet und seine Funktionalität über eine Netzwerkschnittstelle für Softwareanwendungen verfügbar gemacht wird. Sie fungiert als Brücke zwischen einer statischen Modelldatei auf einem Datenträger und einem Live-System, das Daten aus der realen Welt verarbeitet. Sobald ein Modell die Machine Learning (ML)-Trainingsphase abgeschlossen hat, muss es in eine Produktionsumgebung integriert werden, in der es Eingaben – wie Bilder, Text oder tabellarische Daten – empfangen und Vorhersagen zurückgeben kann. Dies wird in der Regel dadurch erreicht, dass das Modell in eine Application Programming Interface (API) verpackt wird, wodurch es mit Webservern, mobilen Apps oder IoT-Geräten kommunizieren kann.

Link to this sectionDie Rolle der Modell-Bereitstellung in der KI#

Das Hauptziel der Modell-Bereitstellung besteht darin, die Fähigkeiten zur prädiktiven Modellierung effektiv nutzbar zu machen. Während sich das Training auf Genauigkeit und die Minimierung von Verlusten konzentriert, konzentriert sich die Bereitstellung auf Leistungsmetriken wie Latenz (wie schnell eine Vorhersage zurückgegeben wird) und Durchsatz (wie viele Anfragen pro Sekunde verarbeitet werden können). Eine robuste Infrastruktur zur Bereitstellung stellt sicher, dass Computer Vision (CV)-Systeme auch bei hoher Belastung zuverlässig bleiben. Sie umfasst oft Technologien wie Containerisierung unter Verwendung von Tools wie Docker, das das Modell zusammen mit seinen Abhängigkeiten paketiert, um ein konsistentes Verhalten in verschiedenen Computerumgebungen zu gewährleisten.

Link to this sectionPraxisanwendungen#

Modell-Bereitstellung ermöglicht allgegenwärtige KI-Funktionen in verschiedenen Branchen, indem sie sofortige Entscheidungen auf Basis von Daten ermöglicht.

• Smart Manufacturing: In industriellen Umgebungen verwenden Systeme für KI in der Fertigung bereitgestellte Modelle zur Überwachung von Fertigungslinien. Hochauflösende Bilder von Komponenten werden an einen lokalen Server gesendet, wo ein YOLO26-Modell Defekte wie Kratzer oder Fehlstellungen erkennt und sofortige Warnungen auslöst, um fehlerhafte Teile zu entfernen.
• Einzelhandelsautomatisierung: Einzelhändler nutzen KI im Einzelhandel, um das Kundenerlebnis zu verbessern. Kameras, die durch Objekterkennung-Modelle unterstützt werden, identifizieren Produkte in einer Kassen-Zone und berechnen die Gesamtkosten automatisch, ohne dass manuelles Barcode-Scannen erforderlich ist.

Link to this sectionPraktische Implementierung#

Um ein Modell effektiv bereitzustellen, ist es oft vorteilhaft, Modelle zu exportieren in ein standardisiertes Format wie ONNX, was die Interoperabilität zwischen verschiedenen Trainings-Frameworks und Bereitstellungs-Engines fördert. Das folgende Beispiel zeigt, wie ein Modell geladen und eine Inferenz ausgeführt wird, wobei die Logik simuliert wird, die innerhalb eines Bereitstellungs-Endpunkts mit Python existieren würde.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Link to this sectionDie Wahl der richtigen Strategie#

Die Wahl der Bereitstellungsstrategie hängt stark vom spezifischen Anwendungsfall ab. Online-Bereitstellung bietet sofortige Antworten über Protokolle wie REST oder gRPC, was für benutzerorientierte Webanwendungen unerlässlich ist. Im Gegensatz dazu verarbeitet die Batch-Bereitstellung große Datenmengen offline, was für Aufgaben wie die nächtliche Berichterstellung geeignet ist. Für Anwendungen, die Privatsphäre erfordern oder eine niedrige Latenz ohne Internetabhängigkeit benötigen, verlagert Edge AI den Bereitstellungsprozess direkt auf das Gerät und nutzt optimierte Formate wie TensorRT, um die Leistung auf eingeschränkter Hardware zu maximieren. Viele Unternehmen nutzen die Ultralytics Platform, um die Bereitstellung dieser Modelle auf verschiedenen Endpunkten, einschließlich Cloud-APIs und Edge-Geräten, zu vereinfachen.

Link to this sectionAbgrenzung von verwandten Begriffen#

Obwohl sie eng miteinander verwandt sind, unterscheidet sich "Modell-Bereitstellung" von Modell-Deployment und Inferenz.

• Modell-Deployment: Dies bezieht sich auf die breitere Lebenszyklusphase der Veröffentlichung eines Modells in einer Produktionsumgebung. Die Bereitstellung (Serving) ist der spezifische Mechanismus oder die Software (wie NVIDIA Triton Inference Server oder TorchServe), die zur Ausführung des bereitgestellten Modells verwendet wird.
• Inferenz: Dies ist der mathematische Akt der Berechnung einer Vorhersage aus einer Eingabe. Die Modell-Bereitstellung bietet die Infrastruktur (Netzwerk, Skalierbarkeit und Sicherheit), die es ermöglicht, dass Inferenz für Endbenutzer zuverlässig funktioniert.
• Microservices: Die Bereitstellung wird oft als eine Reihe von Microservices konzipiert, bei denen das Modell als unabhängiger Dienst läuft, den andere Teile einer Anwendung abfragen können, wobei Daten oft in leichtgewichtigen Formaten wie JSON ausgetauscht werden.