Endpoints de inferencia dedicados frente a inferencia compartida para la implementación

Hace poco presentamos Ultralytics Platform, una solución integral que reúne todo el flujo de trabajo de visión artificial en un único lugar, desde la preparación de conjuntos de datos y el entrenamiento de modelos hasta la inferencia, el despliegue y la supervisión.

Desarrollada a partir de los comentarios de la comunidad de visión artificial, la plataforma está diseñada para simplificar cada etapa del desarrollo al ofrecer funciones integradas que dan soporte a todo el ciclo de vida de las aplicaciones de IA de visión.

Por ejemplo, una vez entrenado el modelo, el siguiente paso es desplegarlo para poder ejecutar inferencias y hacer predicciones en aplicaciones reales. La plataforma simplifica este proceso al ofrecer varias opciones de despliegue.

Puedes exportar modelos para ejecutarlos en tu propio entorno, usar la inferencia compartida para hacer pruebas rápidas o desplegar puntos de conexión dedicados para aplicaciones escalables y listas para producción. Cada una de estas opciones de despliegue te permite ejecutar inferencias de IA, pero está diseñada para distintas fases y casos de uso.

Fig. 1. Ultralytics Platform permite desplegar modelos de IA de visión a escala mundial (Fuente)

La exportación de modelos te ofrece un control total para ejecutarlos en tu propia infraestructura; la inferencia compartida facilita las pruebas y la experimentación sin necesidad de configuración, y los puntos de conexión dedicados están diseñados para cargas de trabajo de producción fiables y a gran escala.

A primera vista, la inferencia compartida y los puntos de conexión dedicados pueden parecer bastante similares. Ambos te permiten enviar solicitudes API a tu modelo y recibir predicciones estructuradas, lo que facilita la integración de la IA de visión en aplicaciones.

Sin embargo, a medida que crezcan tus cargas de trabajo y tus aplicaciones de visión artificial empiecen a gestionar solicitudes de inferencia en tiempo real, las diferencias entre estas opciones cobrarán más importancia. En este artículo analizaremos con más detalle la inferencia compartida y los puntos de conexión dedicados, sus diferencias, cuándo usar cada opción y por qué los puntos de conexión dedicados se convierten en la mejor elección a medida que tus aplicaciones escalan.

Descripción general del despliegue mediante inferencia compartida#

La inferencia compartida es una forma sencilla de ejecutar inferencias de IA en tus modelos sin configurar infraestructura ni preocuparte por los tipos de GPU, la integración con frameworks o la configuración del entorno de ejecución. Una vez entrenado o ajustado el modelo, puedes usarlo para hacer predicciones directamente desde la plataforma.

Con esta configuración, tu modelo se ejecuta en recursos de computación compartidos y multiusuario distribuidos en unas pocas regiones principales, como Estados Unidos, Europa y Asia-Pacífico. Las solicitudes se dirigen automáticamente a los servicios disponibles, así que no tienes que configurar instancias de GPU ni entornos de ejecución. Todo se gestiona por ti, lo que facilita empezar.

Cuando usas la inferencia compartida, envías solicitudes a tu modelo mediante una REST API con herramientas como Python o CLI y recibes resultados JSON estructurados, como objetos detectados, puntuaciones de confianza y otros detalles de las predicciones. Así, probar modelos e integrarlos en aplicaciones resulta muy sencillo.

Al ser un sistema compartido, está diseñado para el desarrollo, las pruebas y un uso moderado. Funciona bien para validar predicciones y crear las primeras integraciones. Aun así, el rendimiento puede variar según la carga del sistema y el uso está limitado a 20 solicitudes por minuto por clave API, por lo que es menos adecuado para cargas de trabajo de producción con un gran volumen de solicitudes.

En general, la inferencia compartida es más adecuada para las primeras fases del desarrollo, cuando el objetivo es comprender y mejorar el modelo antes de pasar a aplicaciones de mayor escala.

Despliega modelos en todo el mundo mediante puntos de conexión dedicados#

Los puntos de conexión dedicados son servicios de inferencia de un solo usuario en los que tus modelos de IA de visión se ejecutan en recursos de computación aislados. En lugar de compartir la infraestructura, cada punto de conexión tiene su propio entorno de ejecución con recursos configurables, como CPU y memoria, lo que te ofrece más control sobre el rendimiento.

Cuando despliegas un modelo como punto de conexión dedicado, se le asigna una URL de API única y se usa tu clave API para la autenticación, lo que facilita su integración en aplicaciones. Puedes desplegar estos puntos de conexión en 43 regiones de todo el mundo, para ejecutar inferencias más cerca de tus usuarios y reducir la latencia.

Fig. 2. Puedes desplegar puntos de conexión dedicados en 43 regiones de todo el mundo (Fuente)

Una de las principales ventajas es el escalado automático. Los puntos de conexión se ajustan automáticamente a las solicitudes entrantes: aumentan los recursos para gestionar más tráfico y los reducen cuando baja la demanda. Como el escalado a cero está activado de forma predeterminada, los puntos de conexión pueden detenerse cuando están inactivos y reiniciarse cuando se necesitan, lo que ayuda a optimizar el uso de los recursos.

En otras palabras, los puntos de conexión dedicados están diseñados para cargas de trabajo de producción. Ofrecen una latencia baja y constante, un mayor rendimiento y más fiabilidad que la inferencia compartida.

Además, los puntos de conexión dedicados no tienen límites de frecuencia. Las solicitudes van directamente a tu punto de conexión, así que el volumen de tráfico que puedes gestionar depende de tu configuración y del escalado, no de límites fijos.

Además, la supervisión, los registros, las comprobaciones de estado y el comportamiento predecible del entorno de ejecución y del arranque, todo ello integrado, facilitan el seguimiento del rendimiento y el mantenimiento de despliegues estables en todos los planes. En el plan Free, los arranques en frío suelen tardar entre 5 y 45 segundos, mientras que los puntos de conexión del plan Pro permanecen activos, lo que permite una inferencia más rápida y predecible.

En pocas palabras, los puntos de conexión dedicados son ideales para aplicaciones de IA de visión en tiempo real que requieren inferencias fiables, escalables y de alto rendimiento.

Inferencia compartida frente a puntos de conexión dedicados: diferencias principales#

A continuación se comparan en detalle la inferencia compartida y los puntos de conexión dedicados:

• Latencia: En entornos compartidos, la latencia puede variar porque los recursos se comparten; los puntos de conexión dedicados, en cambio, ofrecen respuestas más uniformes y con menor latencia.
• Regiones: La inferencia compartida está disponible en unas pocas regiones (EE. UU., UE y AP), mientras que los puntos de conexión dedicados admiten despliegues en 43 regiones de todo el mundo.
• Escalabilidad: El escalado de la inferencia compartida no es configurable, mientras que los puntos de conexión dedicados se escalan automáticamente según el tráfico entrante.
• Límites de frecuencia: La inferencia compartida tiene un límite de 20 solicitudes o llamadas a la API por minuto y por clave API; los puntos de conexión dedicados no tienen límites de frecuencia impuestos por la plataforma.
• Precios: La inferencia compartida está incluida sin coste adicional para las pruebas y el desarrollo, mientras que los puntos de conexión dedicados ofrecen más control y escalabilidad, y su coste depende de la configuración de recursos y las necesidades de despliegue.

Por qué los puntos de conexión dedicados son mejores para las cargas de trabajo de producción#

Cuando las aplicaciones de IA y aprendizaje automático pasan de las pruebas al uso real, el rendimiento, la escalabilidad y la fiabilidad se vuelven esenciales. Por eso, los puntos de conexión dedicados ofrecen ventajas claras frente a la inferencia compartida.

Con los puntos de conexión dedicados, tu modelo preentrenado o personalizado se ejecuta en sus propios recursos de computación, por lo que el rendimiento no se ve afectado por otros usuarios. Esto ayuda a mantener una latencia baja y uniforme, algo importante para aplicaciones en tiempo real, como la analítica de vídeo y los sistemas de supervisión.

Fig. 3. Ejemplo de despliegue mediante un punto de conexión de inferencia dedicado (Fuente)

Por ejemplo, imagina un sistema de análisis para el comercio minorista que procesa las señales de cámaras en directo de varias tiendas. Al desplegar puntos de conexión en 43 regiones de todo el mundo, la inferencia puede ejecutarse más cerca de cada tienda, lo que reduce la latencia y mejora los tiempos de respuesta.

Con la inferencia compartida, en la que los recursos se comparten y las regiones son limitadas, el rendimiento puede variar en los periodos de mayor actividad.

Los puntos de conexión dedicados también pueden gestionar más tráfico y escalarse automáticamente según la demanda. Gracias a la supervisión, los registros y las comprobaciones de estado integrados, ofrecen un rendimiento más predecible y son adecuados para cargas de trabajo de IA continuas y a gran escala.

El papel de la inferencia compartida en el flujo de trabajo de IA de visión#

Al analizar las diferencias entre la inferencia compartida y los puntos de conexión dedicados, quizá te preguntes qué papel desempeña la inferencia compartida en el flujo de trabajo general de visión artificial.

Volvamos al ejemplo del análisis para el comercio minorista. Antes de desplegar una solución de visión en varias tiendas, los equipos suelen tener que probar su rendimiento con datos reales y perfeccionarla a partir de los resultados.

La inferencia compartida simplifica este proceso: te permite enviar imágenes de muestra o fotogramas de vídeo de las cámaras de las tiendas y revisar rápidamente las predicciones sin configurar infraestructura. Resulta especialmente útil para probar el comportamiento del modelo, depurar predicciones incorrectas y validar resultados en distintas condiciones, como cambios en la iluminación o en la distribución de las tiendas.

Al iterar de este modo, los equipos pueden mejorar la precisión y la fiabilidad del modelo antes de pasar a producción. Cuando el modelo funciona bien en estas pruebas, puede desplegarse en puntos de conexión dedicados para usarlo en tiempo real en varias ubicaciones.

La inferencia compartida también puede funcionar bien en aplicaciones con un uso escaso o esporádico. Por ejemplo, una pequeña tienda puede usarla de vez en cuando para analizar el tránsito de personas o revisar la actividad de los clientes en momentos concretos, sin necesidad de un despliegue a gran escala. En estos casos, ofrece una forma sencilla y rentable de ejecutar inferencias bajo demanda.

Casos de uso reales de los puntos de conexión dedicados#

Cuando las aplicaciones de IA van más allá de las pruebas, la elección del despliegue empieza a afectar directamente al rendimiento, la escalabilidad y la experiencia de usuario. Los puntos de conexión dedicados pueden utilizarse ampliamente en distintos sectores porque ofrecen un rendimiento estable, una latencia baja y capacidad para gestionar cargas de trabajo a gran escala.

Estos son algunos casos de uso habituales que muestran cómo pueden utilizarse los puntos de conexión dedicados en aplicaciones reales:

• Comercio minorista y análisis de vídeo: Una cadena de tiendas puede usar la visión artificial para seguir los desplazamientos de los clientes, identificar los productos más populares y supervisar la actividad de las tiendas en tiempo real. Los puntos de conexión dedicados mantienen la inferencia rápida y uniforme en varias tiendas, incluso en las horas punta.
• Fabricación e inspección de calidad: En una línea de producción, los modelos pueden detectar defectos o anomalías a medida que los productos avanzan por el sistema. Los puntos de conexión dedicados admiten inferencias continuas en tiempo real, lo que ayuda a los equipos a detectar problemas pronto y mantener la calidad de los productos sin ralentizar las operaciones.
• Sanidad e imagen médica: Los proveedores de servicios sanitarios y los laboratorios de diagnóstico pueden confiar en modelos de visión para analizar imágenes médicas, como radiografías o escáneres. Los puntos de conexión dedicados ofrecen un rendimiento fiable y uniforme, algo fundamental al manejar datos sensibles y diagnósticos urgentes.
• Automatización de almacenes y logística: En los grandes almacenes suelen funcionar varios sistemas idénticos, como cintas transportadoras y líneas de clasificación, que en la práctica son réplicas de una misma configuración. Los modelos de visión artificial pueden supervisar cada réplica para detectar problemas como atascos o paquetes mal encaminados. Los puntos de conexión dedicados garantizan inferencias uniformes en todas las réplicas y en tiempo real.

Pasar de la inferencia compartida a los puntos de conexión dedicados#

Una de las principales ventajas de Ultralytics Platform es lo fácil que resulta pasar de la inferencia compartida a los puntos de conexión dedicados a medida que crece tu aplicación. En lugar de cambiar de herramientas o reconstruir tu configuración, puedes pasar a un despliegue listo para producción dentro del mismo entorno.

Después de probar tu modelo con inferencia compartida, pasar a un punto de conexión dedicado es el siguiente paso y resulta muy sencillo. Puedes desplegar el mismo modelo en un punto de conexión, elegir la región y los recursos de computación que prefieras y actualizar la URL del punto de conexión en tu aplicación. La integración general sigue siendo similar, así que apenas cambia la forma de enviar solicitudes o gestionar respuestas.

Fig. 4. Consulta de la URL de un punto de conexión dedicado en Ultralytics Platform (Fuente)

Esto significa que puedes pasar de las pruebas a producción con unos pocos clics. A medida que aumente tu carga de trabajo o tu aplicación requiera un rendimiento más uniforme, podrás pasar a puntos de conexión dedicados sin interrumpir tu flujo de trabajo actual.

Para obtener más información sobre cómo desplegar modelos mediante puntos de conexión dedicados en Ultralytics Platform, consulta la documentación oficial de Ultralytics Platform.

Conclusiones clave#

La inferencia compartida es un excelente punto de partida para hacer pruebas y experimentar, pero las cargas de trabajo de producción exigen más uniformidad y escalabilidad. A medida que crecen las aplicaciones, los puntos de conexión dedicados ofrecen el rendimiento y la fiabilidad necesarios para el uso en el mundo real. Por eso son la mejor opción para la mayoría de los despliegues de producción.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para obtener más información sobre los modelos de visión artificial. Lee sobre aplicaciones como la IA en la agricultura y la visión artificial en robótica en nuestras páginas de soluciones. Consulta nuestras opciones de licencia y empieza a trabajar con IA de visión.