Monitoreo de modelos de visión artificial desplegados en la Ultralytics Platform

Probar modelos de visión artificial que analizan imágenes y vídeo no siempre es igual que ejecutarlos en producción. Durante el desarrollo, estos modelos o algoritmos se prueban en conjuntos de datos limpios y bien preparados, donde las condiciones están controladas y son predecibles.

Una vez desplegados, las cosas se vuelven más dinámicas. Los modelos se exponen al tráfico del mundo real, donde los volúmenes de solicitudes pueden variar, los tiempos de respuesta pueden cambiar y pueden ocurrir fallos ocasionales.

En esta etapa, el enfoque cambia hacia si el sistema funciona de manera fiable, con puntos de conexión (endpoints) que permanecen disponibles, con buena capacidad de respuesta y estables bajo condiciones cambiantes.

Por eso la monitorización es esencial. Proporciona una visión clara de cómo se comportan los puntos de conexión desplegados en producción mediante métricas como el volumen de solicitudes, la latencia, las tasas de error y la salud general del sistema.

Para facilitar esto, contar con las herramientas adecuadas es tan importante como el propio modelo. Recientemente, Ultralytics presentó Ultralytics Platform, nuestro nuevo entorno integral que reúne todo el flujo de trabajo de visión artificial, desde los datos y el entrenamiento hasta el despliegue y la monitorización.

Fig 1. Panel de despliegue de Ultralytics Platform con funciones de monitorización (Fuente)

Con la monitorización integrada directamente en este flujo de trabajo, puedes realizar un seguimiento de la salud de los puntos de conexión, inspeccionar el comportamiento de las solicitudes y mantener sistemas fiables sin depender de herramientas independientes. En este artículo, exploraremos cómo utilizar Ultralytics Platform para monitorizar puntos de conexión de modelos desplegados y mantener los sistemas de producción funcionando sin problemas. ¡Empecemos!

Link to this sectionUna visión general de la monitorización de modelos de IA#

En el ciclo de vida de un modelo de IA, la monitorización se refiere a la observación del comportamiento de los sistemas desplegados una vez que el modelo está activo y atiende solicitudes del mundo real. Mientras que el entrenamiento y la validación muestran cómo funciona un modelo de aprendizaje automático (modelo ML) en conjuntos de datos preparados, la monitorización se centra en cómo opera el punto de conexión desplegado en un entorno de producción.

Una parte crucial de la monitorización es el seguimiento de métricas a nivel de sistema que reflejan la fiabilidad y la capacidad de respuesta. Métricas como la latencia y el tiempo de actividad (uptime) ayudan a indicar qué tan bien gestiona el sistema las solicitudes entrantes. La latencia mide cuánto tiempo se tarda en procesar una solicitud y devolver una respuesta, mientras que el tiempo de actividad destaca la consistencia con la que el punto de conexión permanece disponible.

Otro aspecto clave es la observabilidad, que proporciona visibilidad sobre cómo se manejan las solicitudes. Cada vez que una entrada, como una imagen o un fotograma de vídeo, se envía a un modelo desplegado, se procesa como una solicitud de inferencia.

Los registros (logs) capturan estas solicitudes junto con detalles como marcas de tiempo, tiempos de respuesta y códigos de estado. Estos registros facilitan el seguimiento de las solicitudes, la depuración de problemas y la investigación de fallos cuando ocurren. Son especialmente útiles para identificar patrones como errores repetidos, respuestas lentas o comportamientos inesperados del sistema.

Al combinar métricas y registros, la monitorización ayuda a los usuarios a entender cómo operan sus sistemas en producción y a responder rápidamente a los problemas a medida que surgen.

Link to this sectionUn vistazo a las métricas de rendimiento del modelo frente a las métricas del sistema#

Antes de profundizar en la monitorización de producción, analicemos la diferencia entre las métricas de rendimiento del modelo y las métricas del sistema.

Normalmente, la monitorización del modelo se asocia con métricas de evaluación, también conocidas como métricas del modelo, tales como exactitud, precisión, exhaustividad (recall) y mAP (precisión media media). Estas métricas se utilizan para describir el comportamiento del modelo y evaluar la calidad de sus predicciones, a menudo en relación con los datos de producción o los datos de entrada. Pueden ser particularmente útiles para identificar casos límite o valores atípicos en datos nuevos.

Sin embargo, esto es diferente a monitorizar un sistema desplegado en producción. En este contexto, la monitorización se centra en cómo se ejecuta el sistema en lugar de evaluar directamente las predicciones del modelo.

En lugar de métricas del modelo, la monitorización del despliegue se basa en señales a nivel de sistema como el volumen de solicitudes, la latencia, las tasas de error y el tiempo de actividad. Estas métricas proporcionan visibilidad sobre cómo los puntos de conexión manejan los datos de entrada, qué tan consistentemente responden y cómo operan en los entornos de producción.

Link to this sectionEl papel de la monitorización de modelos en proyectos de visión artificial#

A continuación, veamos un ejemplo del mundo real que destaca la necesidad de un sistema de monitorización en los despliegues de visión artificial.

Considera una solución de visión que utiliza estimación de pose, una tarea de visión artificial utilizada para identificar y analizar los movimientos del cuerpo humano, para vigilar a los trabajadores de la construcción en cuanto al cumplimiento de la seguridad. Durante el despliegue inicial del modelo, dicho sistema podría funcionar bien bajo condiciones controladas con una visibilidad clara y escenarios estándar.

Sin embargo, las obras de construcción reales introducen una complejidad adicional. Los volúmenes de solicitudes pueden variar a lo largo del día, las condiciones de red pueden ser inconsistentes y varias cámaras o puntos de conexión pueden estar enviando datos al mismo tiempo. Estos factores pueden provocar respuestas más lentas o fallos ocasionales si el sistema no se monitoriza correctamente.

Fig 2. Estimación de pose utilizada para vigilar a los trabajadores en una obra de construcción (Fuente)

En un entorno de producción como este, resulta importante comprender la fiabilidad con la que opera el sistema. La monitorización proporciona visibilidad sobre si los puntos de conexión están disponibles, con qué rapidez responden a las solicitudes entrantes y qué tan consistentemente manejan el tráfico a lo largo del tiempo.

Por ejemplo, un aumento en la latencia puede indicar una mayor carga o limitaciones de recursos, mientras que un aumento en las tasas de error puede señalar problemas con el manejo de las solicitudes o la estabilidad del sistema. Los registros añaden más contexto al mostrar cómo se procesan las solicitudes individuales y dónde ocurren los fallos.

Al realizar un seguimiento de estas señales, los entusiastas de la IA y los científicos de datos pueden identificar problemas con antelación, solucionar errores de forma más eficaz y garantizar que sus sistemas sigan funcionando de forma fiable a medida que cambian las condiciones del mundo real.

Link to this sectionUso de Ultralytics Platform para monitorizar modelos de visión desplegados#

En muchos flujos de trabajo de aprendizaje profundo, la monitorización a menudo se gestiona utilizando herramientas independientes para el registro, las métricas y la salud del sistema. Esta configuración fragmentada puede dificultar la obtención de una visión clara de cómo operan los puntos de conexión desplegados en producción y añade complejidad a la gestión de los despliegues.

Ultralytics Platform simplifica esto integrando la monitorización directamente en un entorno unificado que cubre todo el flujo de trabajo de visión artificial, desde la ingesta de datos y el etiquetado hasta el entrenamiento, el despliegue y la monitorización.

Con esta configuración integrada, puedes realizar un seguimiento de cómo manejan tus puntos de conexión desplegados el tráfico del mundo real sin necesidad de configurar sistemas de registro externos ni paneles de control adicionales. Todo está disponible en un solo lugar, lo que facilita observar el comportamiento del sistema y mantener despliegues fiables a lo largo del tiempo.

Se puede acceder a las funciones de monitorización directamente desde la pestaña de despliegue (Deploy). Desde un único panel, puedes realizar un seguimiento de las métricas clave, analizar el comportamiento a nivel de solicitud y visualizar tendencias. Estas visualizaciones integradas facilitan la comprensión del rendimiento de las soluciones sin tener que cambiar de herramienta.

Al reunir la monitorización, el despliegue y la gestión de modelos dentro del flujo de trabajo más amplio, la plataforma reduce la complejidad. Esto hace que sea más sencillo centrarse en gestionar los despliegues, optimizar el rendimiento del sistema y mantener la fiabilidad.

Link to this sectionFunciones de monitorización integradas de Ultralytics Platform#

En los despliegues del mundo real, la monitorización depende de tener una visibilidad clara de cómo funcionan los sistemas a medida que las condiciones cambian con el tiempo. Va más allá de seguir unas pocas métricas e implica entender cómo se comportan los puntos de conexión desplegados en diferentes entornos y gestionar múltiples despliegues de manera eficaz.

Inspirada por los comentarios de la comunidad de visión artificial sobre los desafíos comunes, Ultralytics Platform incluye varias capacidades que hacen que la monitorización sea más práctica y escalable.

Aquí tienes una visión general de algunas de estas características clave:

• Visibilidad global del despliegue: La página de despliegue (Deploy) incluye un mapa mundial interactivo que muestra las regiones de despliegue con indicadores visuales para los puntos de conexión activos y en curso, permitiendo a los usuarios monitorizar la distribución geográfica y la actividad regional.
• Vistas de panel flexibles: El panel de despliegues ofrece varios modos de visualización, incluyendo vista de tarjeta, cuadrícula compacta y vista de tabla con columnas ordenables como nombre, región, estado y solicitudes, lo que favorece una monitorización y comparación estructuradas.
• Monitorización de múltiples puntos de conexión: El panel agrega datos de monitorización de todos los despliegues utilizando tarjetas de resumen y listas de despliegue.
• Políticas de retención de datos: Los datos de monitorización se conservan durante un periodo definido, con métricas disponibles durante 30 días y registros durante 7 días, lo que respalda los flujos de trabajo de análisis de rendimiento reciente y depuración.
• Soporte de monitorización externa: Los puntos de conexión de despliegue se pueden monitorizar mediante herramientas externas como Datadog, New Relic y servicios de monitorización de tiempo de actividad, o acceder a ellos mediante puntos de conexión API para monitorización personalizada y comprobaciones de estado.

A continuación, repasaremos algunas de estas características con más detalle y veremos cómo pueden utilizarse para monitorizar puntos de conexión desplegados en producción.

Link to this sectionCómo realizar un seguimiento de las métricas de rendimiento clave utilizando Ultralytics Platform#

Una vez que un modelo está desplegado, la monitorización comienza con el seguimiento de métricas clave del sistema. Si bien métricas como la exactitud y la exhaustividad son útiles durante el desarrollo, la monitorización de producción se centra en señales a nivel de sistema como el tiempo de respuesta y las tasas de error, que proporcionan información cuantificable sobre la fiabilidad con la que los puntos de conexión manejan el tráfico del mundo real.

Ultralytics Platform proporciona un panel centralizado que ofrece una visión clara de la actividad de los puntos de conexión y el comportamiento del sistema. En concreto, el panel de despliegue incluye cuatro métricas clave que muestran cómo se utilizan los puntos de conexión y cómo responden a las solicitudes entrantes.

Aquí tienes un análisis más detallado de estas métricas:

• Solicitudes totales: El número total de solicitudes realizadas en todos los puntos de conexión durante un periodo de 24 horas. Esto ayuda a identificar patrones de uso y la demanda general.
• Despliegues activos: El número de puntos de conexión que se están ejecutando actualmente y sirviendo solicitudes.
• Latencia P95: El tiempo de respuesta dentro del cual se completan el 95% de las solicitudes. Esto ofrece una visión más realista del rendimiento al tener en cuenta las respuestas más lentas.
• Tasa de error: Es el porcentaje de solicitudes fallidas sobre el número total de solicitudes. Esta métrica ayuda a identificar problemas y puede utilizarse para detectar anomalías.

En pocas palabras, estas métricas proporcionan una visión clara de cómo operan los puntos de conexión desplegados en producción. Al analizar los patrones de uso, los equipos y las personas pueden comprender la distribución del tráfico, identificar los periodos de carga máxima y garantizar que los sistemas sigan siendo receptivos y fiables a medida que crece el uso.

Link to this sectionCómo entender el comportamiento del despliegue de modelos a través de los registros#

Mientras que las métricas proporcionan una visión de alto nivel del rendimiento del sistema, los registros ofrecen una mirada más detallada sobre cómo los puntos de conexión desplegados manejan las solicitudes individuales. Los registros graban cada solicitud enviada a un punto de conexión junto con la respuesta correspondiente.

Son útiles para seguir problemas, inspeccionar fallos y entender cómo se procesan las solicitudes. Dentro de Ultralytics Platform, puedes seleccionar cualquier despliegue para ver sus detalles, incluidos los registros.

Fig 3. Un ejemplo de registros dentro de Ultralytics Platform (Fuente)

Una entrada de registro en la plataforma se muestra en un formato estructurado, lo que facilita la comprensión de lo que ocurrió durante cada solicitud. Cada entrada incluye un nivel de gravedad, que indica la importancia del evento, junto con una marca de tiempo que muestra cuándo ocurrió.

También contiene un mensaje que describe el evento y detalles relacionados con HTTP, como códigos de estado y latencia. Esta información ayuda a trazar solicitudes, respaldar la resolución de problemas y depurar errores de manera más eficaz. Además, los registros se agrupan por gravedad, de modo que los usuarios pueden priorizar los despliegues que necesitan atención.

Link to this sectionCómo analizar la salud y la fiabilidad de los puntos de conexión en Ultralytics Platform#

La monitorización también implica entender la salud general de los puntos de conexión desplegados, incluyendo si funcionan correctamente, responden a tiempo y manejan las solicitudes de forma consistente sin errores. Ultralytics Platform proporciona una visión clara del estado de salud de cada despliegue, haciendo sencillo verificar que los puntos de conexión funcionan como se espera.

La plataforma incluye indicadores visuales de salud para cada despliegue, que se muestran en las tarjetas individuales de despliegue.

Por ejemplo, un indicador verde muestra que el punto de conexión está sano y responde normalmente, mientras que un indicador rojo señala problemas o tiempo de inactividad. Un icono giratorio indica que el sistema está comprobando activamente el estado del despliegue.

Al realizar un seguimiento de la salud de los puntos de conexión a lo largo del tiempo, es posible detectar problemas tempranamente, mantener un rendimiento constante y garantizar una experiencia estable para las aplicaciones que se ejecutan en producción.

Link to this sectionLa conexión entre los datos de monitorización y la mejora del rendimiento#

La monitorización de modelos no consiste solo en seguir métricas. Crea un ciclo de retroalimentación que apoya la mejora continua con el paso del tiempo. A medida que los puntos de conexión gestionan el tráfico del mundo real, empiezan a aparecer patrones en las métricas y los registros que pueden revelar problemas como un aumento de la latencia, mayores tasas de error o un comportamiento inconsistente del sistema.

La monitorización destaca las áreas que necesitan atención. Por ejemplo, una latencia constantemente alta puede indicar la necesidad de una mejor asignación de recursos o escalado, mientras que una tasa de error creciente puede señalar problemas con el manejo de las solicitudes o la estabilidad del sistema.

Una vez identificados estos problemas, se pueden tomar medidas para mejorar la fiabilidad. Esto puede implicar ajustar la infraestructura, escalar los recursos o solucionar problemas en la forma en que se procesan las solicitudes. Después de estos cambios, los sistemas pueden seguir monitorizándose para confirmar que el rendimiento ha mejorado.

Al vincular la monitorización con mejoras continuas, los usuarios pueden mantener sistemas robustos a medida que crece el uso y cambian las condiciones.

Link to this sectionExplorando un ejemplo del mundo real: Monitorización del manejo de equipaje en la aviación#

Para comprender mejor el impacto de la monitorización en un escenario del mundo real, exploremos cómo se aplica a la automatización de operaciones terrestres en aviación.

Imagina un sistema de visión diseñado para monitorizar la carga y descarga de equipaje durante las operaciones terrestres de las aeronaves. En esta configuración, se puede utilizar un modelo de detección de objetos como Ultralytics YOLO26 para detectar si el equipaje se cae de las cintas transportadoras o de los equipos de manipulación.

Durante las pruebas y el despliegue inicial, el sistema en tiempo real puede funcionar bien, identificando el equipaje con precisión y respondiendo rápidamente.

Sin embargo, en un entorno aeroportuario real, las condiciones son mucho menos predecibles. La iluminación cambia a lo largo del día, varias cámaras transmiten datos al mismo tiempo y los volúmenes de solicitudes aumentan durante los periodos de gran actividad. Estos factores pueden provocar un aumento de la latencia o la aparición de errores, y sin visibilidad del sistema, este tipo de problemas pueden pasar desapercibidos fácilmente.

Aquí es donde la monitorización se vuelve valiosa. Al realizar un seguimiento de métricas como el volumen de solicitudes, la latencia y las tasas de error junto con registros detallados, los equipos pueden ver rápidamente cuándo un punto de conexión se ralentiza o falla. Si la latencia aumenta durante las horas punta, puede indicar la necesidad de escalar los recursos, mientras que un aumento repentino de errores puede señalar problemas con cámaras específicas o el manejo de solicitudes. Actuar sobre estas señales ayuda a mantener la fiabilidad del sistema, de modo que la monitorización del manejo de equipaje pueda continuar con precisión incluso cuando las condiciones cambien.

Link to this sectionConclusiones clave#

La monitorización es lo que mantiene fiables a los modelos de visión artificial desplegados una vez que abandonan las condiciones controladas del desarrollo y comienzan a gestionar tráfico del mundo real. Al centrarse en señales a nivel de sistema como el volumen de solicitudes, la latencia, las tasas de error y el tiempo de actividad, junto con registros detallados, la monitorización proporciona la visibilidad necesaria para detectar problemas con antelación y mantener los sistemas de producción funcionando sin problemas.

Con la monitorización integrada directamente en el flujo de trabajo de despliegue, Ultralytics Platform facilita el seguimiento de la salud de los puntos de conexión, la inspección del comportamiento de las solicitudes y el mantenimiento de sistemas fiables sin depender de herramientas independientes. Al reunir los datos, el entrenamiento, el despliegue y la monitorización en un solo lugar, la plataforma ayuda a los equipos a pasar de la experimentación a despliegues fiables en el mundo real.

Únete a nuestra creciente comunidad y explora nuestro repositorio de GitHub para aprender más sobre visión por IA. Para empezar a crear con visión por IA hoy mismo, consulta nuestras opciones de licencia. Descubre cómo la IA en la fabricación y la IA en la sanidad están dando forma al futuro visitando nuestras páginas de soluciones.