Model Serving

Model-Serving ist der Prozess, bei dem ein trainiertes Modell für maschinelles Lernen gehostet und seine Funktionalität Softwareanwendungen über eine Netzwerkschnittstelle zur Verfügung gestellt wird. Es dient als Brücke zwischen einer statischen Modelldatei, die auf einer Festplatte gespeichert ist, und einem Live-System, das reale Daten verarbeitet. Sobald ein Modell die machine learning (ML) Trainingsphase abgeschlossen hat, muss es in eine Produktionsumgebung integriert werden, in der es Eingaben wie Bilder, Text oder tabellarische Daten empfangen und Vorhersagen zurückgeben kann. Dies wird typischerweise dadurch erreicht, dass das Modell in eine Application Programming Interface (API) eingepackt wird, wodurch es mit Webservern, mobilen Apps oder IoT-Geräten kommunizieren kann.

Die Rolle der Modell-Bereitstellung in der KI#

Das primäre Ziel des Model-Servings besteht darin, predictive modeling Funktionen effektiv zu operationalisieren. Während sich das Training auf Genauigkeit und Verlustminimierung konzentriert, konzentriert sich das Serving auf Leistungsmetriken wie latency (wie schnell eine Vorhersage zurückgegeben wird) und throughput (wie viele Anfragen pro Sekunde verarbeitet werden können). Eine robuste Serving-Infrastruktur stellt sicher, dass computer vision (CV) Systeme unter hoher Last zuverlässig bleiben. Dies beinhaltet oft Technologien wie containerization unter Verwendung von Tools wie Docker, das das Modell mit seinen Abhängigkeiten verpackt, um ein konsistentes Verhalten über verschiedene Rechenumgebungen hinweg sicherzustellen.

Praxisanwendungen#

Modell-Bereitstellung ermöglicht allgegenwärtige KI-Funktionen in verschiedenen Branchen, indem sie sofortige Entscheidungen auf Basis von Daten ermöglicht.

• Smart Manufacturing: In industriellen Umgebungen verwenden AI in manufacturing Systeme bereitgestellte Modelle, um Fließbänder zu inspizieren. Hochauflösende Bilder von Komponenten werden an einen lokalen Server gesendet, wo ein YOLO26 Modell Defekte wie Kratzer oder Fehlausrichtungen erkennt und sofortige Alarme auslöst, um fehlerhafte Artikel zu entfernen.
• Retail Automation: Einzelhändler nutzen AI in retail, um das Kundenerlebnis zu verbessern. Kameras, die von object detection Modellen bedient werden, identifizieren Produkte in einer Kassenzone und berechnen die Gesamtkosten automatisch, ohne dass manuelles Barcode-Scannen erforderlich ist.

Praktische Implementierung#

Um ein Modell effektiv bereitzustellen, ist es oft von Vorteil, export models in ein standardisiertes Format wie ONNX zu exportieren, was die Interoperabilität zwischen verschiedenen Trainings-Frameworks und Serving-Engines fördert. Das folgende Beispiel zeigt, wie ein Modell geladen und eine Inferenz ausgeführt wird, wobei die Logik simuliert wird, die sich in einem Serving-Endpunkt unter Verwendung von Python befinden würde.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Die Wahl der richtigen Strategie#

Die Wahl der Serving-Strategie hängt stark vom jeweiligen Anwendungsfall ab. Online Serving bietet sofortige Antworten über Protokolle wie REST oder gRPC, was für benutzerbezogene Webanwendungen unerlässlich ist. Umgekehrt verarbeitet Batch Serving große Datenmengen offline, was für Aufgaben wie die nächtliche Berichterstellung geeignet ist. Für Anwendungen, die Privatsphäre oder geringe Latenz ohne Internetabhängigkeit erfordern, verlagert Edge AI den Serving-Prozess direkt auf das Gerät und nutzt optimierte Formate wie TensorRT, um die Leistung auf eingeschränkter Hardware zu maximieren. Viele Organisationen nutzen die Ultralytics Platform, um die Bereitstellung dieser Modelle auf verschiedenen Endpunkten, einschließlich Cloud-APIs und Edge-Geräten, zu vereinfachen.

Abgrenzung von verwandten Begriffen#

Obwohl sie eng miteinander verwandt sind, unterscheidet sich "Modell-Bereitstellung" von Modell-Deployment und Inferenz.

• Model Deployment: Dies bezieht sich auf die breitere Lebenszyklusphase der Freigabe eines Modells in einer Produktionsumgebung. Serving ist der spezifische Mechanismus oder die Software (wie NVIDIA Triton Inference Server oder TorchServe), die verwendet wird, um das bereitgestellte Modell auszuführen.
• Inference: Dies ist der mathematische Akt der Berechnung einer Vorhersage aus einer Eingabe. Model-Serving stellt die Infrastruktur (Netzwerk, scalability und Sicherheit) bereit, die es ermöglicht, dass inference für Endbenutzer zuverlässig stattfindet.
• Microservices: Serving wird oft als Satz von microservices architekturiert, bei dem das Modell als unabhängiger Dienst läuft, den andere Teile einer Anwendung abfragen können, wobei Daten häufig in leichtgewichtigen Formaten wie JSON ausgetauscht werden.