Model Serving

La entrega de modelos (model serving) es el proceso de alojar un modelo de aprendizaje automático entrenado y poner su funcionalidad a disposición de las aplicaciones de software a través de una interfaz de red. Actúa como el puente entre un archivo de modelo estático guardado en un disco y un sistema en vivo que procesa datos del mundo real. Una vez que un modelo ha completado la fase de entrenamiento de machine learning (ML), debe integrarse en un entorno de producción donde pueda recibir entradas —como imágenes, texto o datos tabulares— y devolver predicciones. Esto se logra típicamente envolviendo el modelo en una Application Programming Interface (API), lo que le permite comunicarse con servidores web, aplicaciones móviles o dispositivos IoT.

El papel del servicio de modelos en la IA#

El objetivo principal de la entrega de modelos es operacionalizar eficazmente las capacidades de predictive modeling. Mientras que el entrenamiento se centra en la precisión y la minimización de pérdidas, la entrega se centra en métricas de rendimiento como la latencia (la rapidez con la que se devuelve una predicción) y el rendimiento (cuántas solicitudes se pueden gestionar por segundo). Una infraestructura de entrega robusta garantiza que los sistemas de computer vision (CV) sigan siendo fiables bajo cargas pesadas. A menudo implica tecnologías como la contenedorización mediante herramientas como Docker, que empaqueta el modelo con sus dependencias para garantizar un comportamiento coherente en diferentes entornos informáticos.

Aplicaciones en el mundo real#

El servicio de modelos impulsa funciones de IA ubicuas en diversos sectores al permitir una toma de decisiones inmediata basada en datos.

• Smart Manufacturing: En entornos industriales, los sistemas de AI in manufacturing utilizan modelos servidos para inspeccionar líneas de montaje. Las imágenes de alta resolución de los componentes se envían a un servidor local, donde un modelo YOLO26 detecta defectos como arañazos o desalineaciones, activando alertas inmediatas para retirar los elementos defectuosos.
• Retail Automation: Los minoristas utilizan AI in retail para mejorar la experiencia del cliente. Las cámaras gestionadas por modelos de object detection identifican productos en una zona de pago, calculando el coste total automáticamente sin necesidad de escanear códigos de barras manualmente.

Implementación práctica#

Para servir un modelo de manera eficaz, a menudo resulta beneficioso export models a un formato estandarizado como ONNX, lo que fomenta la interoperabilidad entre diferentes frameworks de entrenamiento y motores de entrega. El siguiente ejemplo demuestra cómo cargar un modelo y ejecutar inferencia, simulando la lógica que existiría dentro de un endpoint de servicio utilizando Python.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Elegir la estrategia adecuada#

La elección de la estrategia de entrega depende en gran medida del caso de uso específico. La Online Serving proporciona respuestas inmediatas a través de protocolos como REST o gRPC, lo cual es esencial para aplicaciones web orientadas al usuario. Por el contrario, la Batch Serving procesa grandes volúmenes de datos sin conexión, siendo adecuada para tareas como la generación de informes nocturnos. Para aplicaciones que requieren privacidad o baja latencia sin dependencia de internet, Edge AI traslada el proceso de entrega directamente al dispositivo, utilizando formatos optimizados como TensorRT para maximizar el rendimiento en hardware limitado. Muchas organizaciones aprovechan el Ultralytics Platform para simplificar el despliegue de estos modelos en varios endpoints, incluyendo APIs en la nube y dispositivos perimetrales.

Distinción de términos relacionados#

Aunque están estrechamente relacionados, el "Servicio de modelos" es distinto del Model Deployment y la Inference.

• Model Deployment: Esto se refiere a la etapa más amplia del ciclo de vida de lanzar un modelo a un entorno de producción. La entrega (serving) es el mecanismo o software específico (como NVIDIA Triton Inference Server o TorchServe) utilizado para ejecutar el modelo desplegado.
• Inference: Este es el acto matemático de calcular una predicción a partir de una entrada. La entrega de modelos proporciona la infraestructura (red, escalabilidad y seguridad) que permite que la inferencia ocurra de manera fiable para los usuarios finales.
• Microservices: La entrega se diseña a menudo como un conjunto de microservices, donde el modelo se ejecuta como un servicio independiente al que otras partes de una aplicación pueden consultar, intercambiando a menudo datos en formatos ligeros como JSON.