Puntos finales de inferencia dedicados vs inferencia compartida para despliegue

Recientemente presentamos la Ultralytics Platform, una solución integral que reúne todo el flujo de trabajo de visión artificial en un solo lugar, desde la preparación de datasets y el entrenamiento de modelos hasta la inferencia, el despliegue y la monitorización.

Construida basándonos en los comentarios de la comunidad de visión artificial, la plataforma está diseñada para simplificar cada etapa del desarrollo proporcionando funciones integradas que respaldan el ciclo de vida completo de las aplicaciones de IA visual.

Por ejemplo, una vez que un modelo está entrenado, el siguiente paso es desplegarlo para que pueda usarse para ejecutar inferencias y realizar predicciones en aplicaciones del mundo real. La plataforma hace que este proceso sea sencillo al ofrecer múltiples opciones de despliegue.

Puedes exportar modelos para ejecutarlos en tu propio entorno, utilizar la inferencia compartida para pruebas rápidas o desplegar endpoints dedicados para aplicaciones escalables listas para producción. Cada una de estas opciones de despliegue te permite ejecutar inferencia de IA, pero están diseñadas para diferentes etapas y casos de uso.

Fig 1. Ultralytics Platform permite el despliegue escalable de modelos de IA visual a nivel global (Fuente)

La exportación de modelos te da control total para ejecutarlos en tu propia infraestructura, la inferencia compartida hace que sea sencillo probar y experimentar sin configuraciones, y los endpoints dedicados están diseñados para cargas de trabajo de producción fiables y a gran escala.

A primera vista, la inferencia compartida y los endpoints dedicados pueden parecer bastante similares. Ambos te permiten enviar solicitudes API a tu modelo y recibir predicciones estructuradas, facilitando la integración de la IA visual en las aplicaciones.

Sin embargo, a medida que tus cargas de trabajo crecen y tus aplicaciones de visión artificial comienzan a manejar solicitudes de inferencia en tiempo real, las diferencias entre estas opciones cobran mayor importancia. En este artículo, analizaremos más de cerca la inferencia compartida y los endpoints dedicados, cómo se comparan, cuándo usar cada uno y por qué los endpoints dedicados se convierten en la mejor opción a medida que tus aplicaciones escalan.

Link to this sectionUna visión general del despliegue usando inferencias compartidas#

La inferencia compartida es una forma sencilla de ejecutar inferencia de IA en tus modelos sin configurar ninguna infraestructura ni preocuparte por tipos de GPU, integración de frameworks o configuración de tiempo de ejecución. Una vez que tu modelo está entrenado o ajustado, puedes usarlo para realizar predicciones directamente a través de la plataforma.

En esta configuración, tu modelo se ejecuta en recursos de computación compartidos y multiusuario en algunas regiones principales, como EE. UU., Europa y Asia-Pacífico. Las solicitudes se enrutan automáticamente a los servicios disponibles, por lo que no necesitas configurar instancias de GPU o entornos de ejecución. Todo se gestiona por ti, facilitando el inicio.

Cuando usas la inferencia compartida, envías solicitudes a tu modelo a través de una REST API utilizando herramientas como Python o CLI, y recibes salidas JSON estructuradas, como objetos detectados, puntuaciones de confianza y otros detalles de predicción. Esto hace que sea fluido probar modelos e integrarlos en aplicaciones.

Dado que el sistema es compartido, está diseñado para desarrollo, pruebas y uso ligero. Funciona bien para validar predicciones y construir integraciones iniciales. Al mismo tiempo, el rendimiento puede variar según la carga del sistema y el uso está limitado a 20 solicitudes por minuto por clave API, lo que lo hace menos adecuado para cargas de trabajo de producción de alto rendimiento.

En general, la inferencia compartida es la más adecuada para el desarrollo en etapas iniciales, donde el enfoque está en comprender y mejorar tu modelo antes de pasar a aplicaciones a mayor escala.

Link to this sectionDespliega modelos globalmente usando endpoints dedicados#

Los endpoints dedicados son servicios de inferencia de usuario único donde tus modelos de IA visual se ejecutan en recursos de computación aislados. En lugar de compartir infraestructura, cada endpoint tiene su propio tiempo de ejecución con recursos configurables como CPU y memoria, dándote más control sobre el rendimiento.

Cuando despliegas un modelo como un endpoint dedicado, se le asigna una URL de API única y utiliza tu clave API para la autenticación, lo que facilita la integración en aplicaciones. Estos endpoints se pueden desplegar en 43 regiones globales, permitiéndote ejecutar la inferencia más cerca de tus usuarios y reducir la latencia.

Fig 2. Puedes desplegar endpoints dedicados en 43 regiones globales (Fuente)

Una de las ventajas clave es el escalado automático. Los endpoints se ajustan automáticamente según las solicitudes entrantes, escalando hacia arriba para manejar mayor tráfico y hacia abajo cuando la demanda disminuye. Con el escalado a cero habilitado por defecto, los endpoints pueden apagarse cuando están inactivos y reiniciarse cuando es necesario, ayudando a optimizar el uso de recursos.

En otras palabras, los endpoints dedicados están diseñados para cargas de trabajo de producción. Proporcionan una baja latencia consistente, mayor rendimiento y mayor fiabilidad en comparación con la inferencia compartida.

Además, los endpoints dedicados no tienen límites de tasa. Las solicitudes van directamente a tu endpoint, por lo que cuánto tráfico puedes manejar depende de tu configuración y escalado en lugar de límites fijos.

Además de esto, la monitorización incorporada, los registros, las comprobaciones de estado y el comportamiento predecible de tiempo de ejecución y arranque hacen que sea sencillo realizar un seguimiento del rendimiento y mantener despliegues estables en todos los planes. En el plan gratuito, los arranques en frío suelen tardar entre 5 y 45 segundos, mientras que los endpoints del plan Pro permanecen calientes, lo que resulta en un rendimiento de inferencia más rápido y predecible.

En pocas palabras, los endpoints dedicados son ideales para aplicaciones de IA visual en tiempo real que requieren una inferencia fiable, escalable y de alto rendimiento.

Link to this sectionInferencia compartida vs. endpoints dedicados: diferencias principales#

Aquí tienes un vistazo más de cerca a cómo se comparan la inferencia compartida y los endpoints dedicados:

• Latencia: La latencia puede variar en entornos compartidos debido a la compartición de recursos, mientras que los endpoints dedicados proporcionan respuestas más consistentes y de baja latencia.
• Regiones: La inferencia compartida está disponible en algunas regiones (EE. UU., UE, AP), mientras que los endpoints dedicados admiten el despliegue en 43 regiones globales.
• Escalabilidad: El escalado no es configurable en la inferencia compartida, mientras que los endpoints dedicados escalan automáticamente según el tráfico entrante.
• Límites de tasa: La inferencia compartida tiene límites de tasa (20 solicitudes o llamadas API por minuto por clave API), mientras que los endpoints dedicados no tienen límites de tasa de plataforma.
• Precios: La inferencia compartida está incluida sin coste adicional para pruebas y desarrollo, mientras que los endpoints dedicados ofrecen más control y escalabilidad, con un uso que depende de la configuración de recursos y las necesidades de despliegue.

Link to this sectionPor qué los endpoints dedicados son mejores para cargas de trabajo de producción#

A medida que las aplicaciones de IA y aprendizaje automático pasan de las pruebas al uso en el mundo real, el rendimiento, la escalabilidad y la fiabilidad se vuelven esenciales. Por eso los endpoints dedicados ofrecen claras ventajas sobre la inferencia compartida.

Con endpoints dedicados, tu modelo preentrenado o personalizado se ejecuta en sus propios recursos de computación, por lo que el rendimiento no se ve afectado por otros usuarios. Esto ayuda a mantener la latencia baja y consistente, lo cual es importante para aplicaciones en tiempo real como análisis de vídeo y sistemas de monitorización.

Fig 3. Un vistazo al despliegue usando un endpoint de inferencia dedicado (Fuente)

Por ejemplo, piensa en un sistema de análisis minorista que procesa transmisiones de cámara en vivo en varias tiendas. Al desplegar endpoints en 43 regiones globales, la inferencia puede ejecutarse más cerca de cada tienda, reduciendo la latencia y mejorando los tiempos de respuesta.

Con la inferencia compartida, donde los recursos se comparten y las regiones son limitadas, el rendimiento puede variar durante los períodos de mayor actividad.

Los endpoints dedicados también pueden manejar un mayor tráfico y escalar automáticamente según la demanda. Con monitorización incorporada, registros y comprobaciones de estado, proporcionan un rendimiento más predecible, lo que los convierte en una buena opción para cargas de trabajo de IA a gran escala y continuas.

Link to this sectionDónde encaja la inferencia compartida en el flujo de trabajo de la IA visual#

Mientras exploras las diferencias entre la inferencia compartida y los endpoints dedicados, es posible que te preguntes dónde encaja la inferencia compartida en el flujo de trabajo general de visión artificial.

Tomemos el ejemplo del análisis minorista de nuevo. Antes de desplegar una solución de visión en varias tiendas, los equipos generalmente necesitan probar cómo funciona con datos reales y refinarla en función de esos resultados.

La inferencia compartida hace que este proceso sea sencillo al permitirte enviar imágenes de muestra o fotogramas de vídeo desde las cámaras de la tienda y revisar rápidamente las predicciones sin configurar infraestructura. Esto es especialmente útil para probar el comportamiento del modelo, depurar predicciones incorrectas y validar resultados en diferentes condiciones, como cambios en la iluminación o en la disposición de la tienda.

Al iterar de esta manera, los equipos pueden mejorar la precisión y fiabilidad del modelo antes de pasar a producción. Una vez que el modelo funciona bien en estos escenarios de prueba, puede desplegarse en endpoints dedicados para su uso en tiempo real en múltiples ubicaciones.

La inferencia compartida también puede funcionar bien para aplicaciones con un uso bajo o poco frecuente. Por ejemplo, una pequeña tienda minorista podría usarla para analizar ocasionalmente el flujo de personas o revisar la actividad del cliente en momentos específicos, sin necesidad de un despliegue a gran escala. En estos casos, proporciona una forma sencilla y rentable de ejecutar inferencia bajo demanda.

Link to this sectionCasos de uso en el mundo real de los endpoints dedicados#

A medida que las aplicaciones de IA van más allá de las pruebas, la elección del despliegue comienza a afectar directamente al rendimiento, la escalabilidad y la experiencia del usuario. Los endpoints dedicados pueden utilizarse ampliamente en todos los sectores porque proporcionan un rendimiento estable, baja latencia y la capacidad de manejar cargas de trabajo a gran escala.

Aquí tienes algunos casos de uso comunes que muestran cómo los endpoints dedicados se pueden utilizar en aplicaciones del mundo real:

• Retail y análisis de vídeo: Una cadena minorista puede usar visión artificial para rastrear el movimiento de los clientes, identificar productos populares y monitorizar la actividad de la tienda en tiempo real. Los endpoints dedicados mantienen la inferencia rápida y consistente en múltiples ubicaciones de tiendas, incluso durante las horas punta.
• Fabricación e inspección de calidad: En una línea de producción, los modelos pueden detectar defectos o anomalías a medida que los productos se mueven a través del sistema. Los endpoints dedicados admiten una inferencia continua y en tiempo real, ayudando a los equipos a detectar problemas pronto y mantener la calidad del producto sin ralentizar las operaciones.
• Atención sanitaria e imagen médica: Los proveedores de atención sanitaria y laboratorios de diagnóstico pueden confiar en los modelos de visión para analizar imágenes médicas como radiografías o escaneos. Los endpoints dedicados proporcionan un rendimiento fiable y consistente, lo cual es crítico al manejar datos sensibles y diagnósticos urgentes.
• Automatización de almacenes y logística: Los grandes almacenes a menudo operan múltiples sistemas idénticos, como cintas transportadoras y líneas de clasificación, actuando efectivamente como réplicas de la misma configuración. Los modelos de visión artificial pueden monitorizar cada réplica para detectar problemas como atascos o paquetes mal enrutados. Los endpoints dedicados garantizan una inferencia consistente en todas las réplicas en tiempo real.

Link to this sectionTransición de la inferencia compartida a endpoints dedicados#

Uno de los beneficios clave de la Ultralytics Platform es lo sencillo que es pasar de la inferencia compartida a endpoints dedicados a medida que crece tu aplicación. En lugar de cambiar de herramienta o reconstruir tu configuración, puedes hacer la transición a un despliegue listo para producción dentro del mismo entorno.

Después de probar tu modelo con inferencia compartida, pasar a un endpoint dedicado es un paso siguiente sencillo. Puedes desplegar el mismo modelo en un endpoint, elegir tu región y recursos de computación preferidos, y actualizar la URL del endpoint en tu aplicación. La integración general sigue siendo similar, por lo que hay poco o ningún cambio en cómo envías solicitudes o manejas las respuestas.

Fig 4. Visualización de una URL de endpoint dedicado en Ultralytics Platform (Fuente)

Esto significa que puedes escalar de las pruebas a la producción con unos pocos clics. A medida que tu carga de trabajo aumenta o tu aplicación requiere un rendimiento más consistente, puedes pasar a endpoints dedicados sin interrumpir tu flujo de trabajo existente.

Para obtener más información sobre el despliegue de modelos utilizando endpoints dedicados en la Ultralytics Platform, consulta la documentación oficial de Ultralytics Platform.

Link to this sectionConclusiones clave#

La inferencia compartida es un gran punto de partida para pruebas y experimentación, pero las cargas de trabajo de producción exigen más consistencia y escala. A medida que crecen las aplicaciones, los endpoints dedicados proporcionan el rendimiento y la fiabilidad necesarios para respaldar el uso en el mundo real. Esto los convierte en la mejor opción para la mayoría de los despliegues de producción.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para aprender más sobre modelos de visión artificial. Lee sobre aplicaciones como IA en la agricultura y visión artificial en robótica en nuestras páginas de soluciones. Consulta nuestras opciones de licencia y comienza con la IA visual.