Supervisión de modelos de visión artificial implementados en Ultralytics Platform

Probar modelos de visión artificial que analizan imágenes y vídeos no siempre es lo mismo que ejecutarlos en producción. Durante el desarrollo, estos modelos o algoritmos se prueban con conjuntos de datos limpios y bien preparados, en condiciones controladas y previsibles.

Una vez desplegados, el entorno se vuelve más dinámico. Los modelos se exponen al tráfico real, donde el volumen de solicitudes puede variar, los tiempos de respuesta pueden cambiar y pueden producirse fallos ocasionales.

En esta etapa, el objetivo pasa a ser comprobar que el sistema funciona de forma fiable, con endpoints que siguen disponibles, responden con rapidez y se mantienen estables en condiciones cambiantes.

Por eso, la monitorización es esencial. Permite ver con claridad cómo se comportan los endpoints desplegados en producción mediante métricas como el volumen de solicitudes, la latencia, la tasa de errores y el estado general del sistema.

Para facilitar esta tarea, disponer de las herramientas adecuadas es tan importante como el propio modelo. Hace poco, Ultralytics presentó Ultralytics Platform, nuestro nuevo entorno integral que reúne todo el flujo de trabajo de visión artificial, desde los datos y el entrenamiento hasta el despliegue y la monitorización.

Fig. 1. Panel de despliegue de Ultralytics Platform con funciones de monitorización (Fuente)

Al integrar la monitorización directamente en este flujo de trabajo, los usuarios pueden seguir el estado de los endpoints, inspeccionar el comportamiento de las solicitudes y mantener sistemas fiables sin depender de herramientas independientes. En este artículo veremos cómo usar Ultralytics Platform para monitorizar los endpoints de los modelos desplegados y mantener los sistemas de producción en buen funcionamiento. ¡Empecemos!

Introducción a la monitorización de modelos de IA#

En el ciclo de vida de un modelo de IA, la monitorización consiste en observar el comportamiento de los sistemas desplegados una vez que el modelo está activo y atiende solicitudes del mundo real. Mientras que el entrenamiento y la validación muestran el rendimiento de un modelo de aprendizaje automático en conjuntos de datos preparados, la monitorización se centra en el funcionamiento del endpoint desplegado en un entorno de producción.

Una parte fundamental de la monitorización es el seguimiento de métricas a nivel de sistema que reflejan la fiabilidad y la capacidad de respuesta. Métricas como la latencia y el tiempo de actividad indican cómo gestiona el sistema las solicitudes entrantes. La latencia mide cuánto se tarda en procesar una solicitud y devolver una respuesta, mientras que el tiempo de actividad refleja la regularidad con la que el endpoint permanece disponible.

Otro aspecto clave es la observabilidad, que permite ver cómo se gestionan las solicitudes. Cada vez que se envía una entrada, como una imagen o un fotograma de vídeo, a un modelo desplegado, se procesa como una solicitud de inferencia.

Los registros recogen estas solicitudes junto con detalles como las marcas de tiempo, los tiempos de respuesta y los códigos de estado. Facilitan el seguimiento de las solicitudes, la depuración de problemas y el análisis de los fallos cuando se producen. Resultan especialmente útiles para identificar patrones como errores reiterados, respuestas lentas o comportamientos inesperados del sistema.

Al combinar métricas y registros, la monitorización ayuda a los usuarios a entender cómo funcionan sus sistemas en producción y a responder rápidamente cuando surgen problemas.

Diferencias entre las métricas de rendimiento del modelo y las métricas del sistema#

Antes de profundizar en la monitorización en producción, veamos la diferencia entre las métricas de rendimiento del modelo y las métricas del sistema.

Normalmente, la monitorización de modelos se asocia a métricas de evaluación, también conocidas como métricas del modelo, como la precisión, la exactitud, la exhaustividad y mAP (precisión media promedio). Estas métricas describen el comportamiento del modelo y evalúan la calidad de sus predicciones, a menudo en relación con datos de producción o datos de entrada. Pueden resultar especialmente útiles para identificar casos límite o valores atípicos en datos nuevos.

Sin embargo, esto no es lo mismo que monitorizar un sistema desplegado en producción. En este contexto, la monitorización se centra en cómo funciona el sistema, no en evaluar directamente las predicciones del modelo.

En lugar de métricas del modelo, la monitorización del despliegue se basa en señales a nivel de sistema, como el volumen de solicitudes, la latencia, la tasa de errores y el tiempo de actividad. Estas métricas permiten ver cómo gestionan los endpoints los datos de entrada, con qué regularidad responden y cómo funcionan en entornos de producción.

El papel de la monitorización de modelos en proyectos de visión artificial#

A continuación, veamos un ejemplo real que pone de manifiesto la necesidad de contar con un sistema de monitorización en los despliegues de visión artificial.

Imagina una solución de visión que utiliza la estimación de poses, una tarea de visión artificial que permite identificar y analizar los movimientos del cuerpo humano, para supervisar el cumplimiento de las normas de seguridad por parte de los trabajadores de la construcción. Durante el despliegue inicial del modelo, el sistema podría funcionar bien en condiciones controladas, con buena visibilidad y situaciones habituales.

Sin embargo, las obras reales presentan más dificultades. El volumen de solicitudes puede variar a lo largo del día, las condiciones de red pueden ser irregulares y varias cámaras o endpoints pueden enviar datos al mismo tiempo. Si el sistema no se monitoriza adecuadamente, estos factores pueden provocar respuestas más lentas o fallos ocasionales.

Fig. 2. Uso de la estimación de poses para supervisar a los trabajadores en una obra (Fuente)

En un entorno de producción como este, es importante saber con qué fiabilidad funciona el sistema. La monitorización permite comprobar si los endpoints están disponibles, cuánto tardan en responder a las solicitudes entrantes y con qué regularidad gestionan el tráfico a lo largo del tiempo.

Por ejemplo, un aumento de la latencia puede indicar una mayor carga o restricciones de recursos, mientras que un incremento de la tasa de errores puede señalar problemas en la gestión de solicitudes o en la estabilidad del sistema. Los registros aportan más contexto al mostrar cómo se procesa cada solicitud y dónde se producen los fallos.

Al hacer un seguimiento de estas señales, los entusiastas de la IA y los científicos de datos pueden detectar problemas con antelación, solucionar incidencias con más eficacia y garantizar que sus sistemas sigan funcionando de forma fiable a medida que cambian las condiciones del mundo real.

Uso de Ultralytics Platform para monitorizar modelos de visión desplegados#

En muchos flujos de trabajo de aprendizaje profundo, la monitorización suele gestionarse mediante herramientas independientes para los registros, las métricas y el estado del sistema. Esta configuración fragmentada dificulta obtener una visión clara del funcionamiento de los endpoints desplegados en producción y complica la gestión de los despliegues.

Ultralytics Platform simplifica esta tarea al integrar la monitorización en un entorno unificado que abarca todo el flujo de trabajo de visión artificial, desde la incorporación y el etiquetado de datos hasta el entrenamiento, el despliegue y la monitorización.

Con esta configuración integrada, los usuarios pueden seguir cómo gestionan sus endpoints desplegados el tráfico real sin configurar sistemas de registro externos ni paneles adicionales. Todo está disponible en un mismo lugar, lo que facilita observar el comportamiento del sistema y mantener despliegues fiables a lo largo del tiempo.

Puedes acceder a las funciones de monitorización directamente desde la pestaña Deploy. Desde un único panel, los usuarios pueden seguir métricas clave, analizar el comportamiento de cada solicitud y visualizar tendencias. Estas visualizaciones integradas facilitan la evaluación del rendimiento de las soluciones sin tener que cambiar de herramienta.

Al integrar la monitorización, el despliegue y la gestión de modelos en un flujo de trabajo más amplio, la plataforma reduce la complejidad. Así resulta más sencillo centrarse en gestionar los despliegues, optimizar el rendimiento del sistema y mantener la fiabilidad.

Funciones de monitorización integradas en Ultralytics Platform#

En los despliegues del mundo real, la monitorización depende de poder ver con claridad cómo funcionan los sistemas a medida que cambian las condiciones. No se limita a seguir unas pocas métricas: también implica comprender el comportamiento de los endpoints desplegados en distintos entornos y gestionar varios despliegues de forma eficaz.

Inspirada en las opiniones de la comunidad de IA aplicada a la visión sobre los retos habituales de la visión artificial, Ultralytics Platform incluye varias funciones que hacen que la monitorización sea más práctica y escalable.

Estas son algunas de las principales funciones:

• Visibilidad global de los despliegues: La página Deploy incluye un mapa mundial interactivo que muestra las regiones de despliegue y utiliza indicadores visuales para los endpoints activos y en curso. Así, los usuarios pueden supervisar la distribución geográfica y la actividad regional.
• Vistas flexibles del panel: El panel de despliegues ofrece varios modos de visualización, como tarjetas, cuadrícula compacta y tabla con columnas ordenables —por ejemplo, nombre, región, estado y solicitudes—, lo que facilita una monitorización y comparación estructuradas.
• Monitorización de varios endpoints: El panel reúne los datos de monitorización de todos los despliegues mediante tarjetas de resumen y listas de despliegues.
• Políticas de conservación de datos: Los datos de monitorización se conservan durante un periodo definido: las métricas están disponibles durante 30 días y los registros durante 7 días. Esto facilita el análisis del rendimiento reciente y la depuración.
• Compatibilidad con la monitorización externa: Puedes monitorizar los endpoints de despliegue con herramientas externas como Datadog, New Relic y servicios de monitorización del tiempo de actividad, o acceder a ellos mediante endpoints de API para crear sistemas personalizados de monitorización y comprobación del estado.

A continuación, veremos algunas de estas funciones con más detalle y descubriremos cómo pueden utilizarse para supervisar los endpoints desplegados en producción.

Cómo hacer un seguimiento de las métricas de rendimiento clave con Ultralytics Platform#

Una vez desplegado un modelo, la supervisión empieza con el seguimiento de las métricas clave del sistema. Aunque métricas como la precisión y la exhaustividad son útiles durante el desarrollo, la supervisión en producción se centra en señales del sistema, como el tiempo de respuesta y las tasas de error, que ofrecen información medible sobre la fiabilidad con la que los endpoints gestionan el tráfico real.

Ultralytics Platform ofrece un panel centralizado que muestra claramente la actividad de los endpoints y el comportamiento del sistema. En concreto, el panel de despliegue incluye cuatro métricas clave que indican cómo se utilizan los endpoints y cómo responden a las solicitudes entrantes.

Veamos estas métricas más de cerca:

• Solicitudes totales: número total de solicitudes realizadas en todos los endpoints durante un periodo de 24 horas. Esto ayuda a identificar patrones de uso y la demanda general.
• Despliegues activos: número de endpoints que están en ejecución y atendiendo solicitudes en ese momento.
• Latencia P95: tiempo de respuesta en el que se completa el 95 % de las solicitudes. Ofrece una visión más realista del rendimiento, ya que tiene en cuenta las respuestas más lentas.
• Tasa de error: porcentaje de solicitudes fallidas respecto al número total de solicitudes. Esta métrica ayuda a identificar problemas y puede utilizarse para detectar anomalías.

En pocas palabras, estas métricas muestran claramente cómo funcionan los endpoints desplegados en producción. Al analizar los patrones de uso, los equipos y las personas pueden entender la distribución del tráfico, identificar los periodos de máxima carga y asegurarse de que los sistemas sigan respondiendo con rapidez y fiabilidad a medida que aumenta el uso.

Comprende el comportamiento del despliegue de modelos a través de los registros#

Mientras que las métricas ofrecen una visión general del rendimiento del sistema, los registros muestran con más detalle cómo gestionan los endpoints desplegados cada solicitud. Los registros anotan cada solicitud enviada a un endpoint junto con la respuesta correspondiente.

Son útiles para hacer un seguimiento de los problemas, examinar los fallos y entender cómo se procesan las solicitudes. En Ultralytics Platform, puedes seleccionar cualquier despliegue para ver sus detalles, incluidos los registros.

Fig. 3. Ejemplo de registros en Ultralytics Platform (Fuente)

En la plataforma, cada entrada del registro se muestra en un formato estructurado que facilita entender qué ha ocurrido durante cada solicitud. Cada entrada incluye un nivel de gravedad, que indica la importancia del evento, y una marca de tiempo que muestra cuándo se ha producido.

También contiene un mensaje que describe el evento y detalles relacionados con HTTP, como los códigos de estado y la latencia. Esta información ayuda a rastrear las solicitudes, facilita la resolución de problemas y permite depurar los fallos con más eficacia. Además, los registros se agrupan por gravedad para que los usuarios puedan dar prioridad a los despliegues que necesitan atención.

Analiza el estado y la fiabilidad de los endpoints en Ultralytics Platform#

La supervisión también implica entender el estado general de los endpoints desplegados: si funcionan correctamente, responden a tiempo y gestionan las solicitudes de forma constante y sin errores. Ultralytics Platform muestra claramente el estado de cada despliegue, por lo que resulta sencillo comprobar que los endpoints funcionan según lo previsto.

La plataforma incluye indicadores visuales del estado de cada despliegue, que se muestran en las tarjetas de cada despliegue.

Por ejemplo, un indicador verde muestra que el endpoint funciona correctamente y responde con normalidad, mientras que uno rojo señala problemas o una interrupción del servicio. Un icono giratorio indica que el sistema está comprobando el estado del despliegue.

Al hacer un seguimiento del estado de los endpoints a lo largo del tiempo, es posible detectar problemas pronto, mantener un rendimiento constante y garantizar una experiencia estable para las aplicaciones que funcionan en producción.

La relación entre los datos de supervisión y la mejora del rendimiento#

La supervisión de modelos no consiste solo en hacer un seguimiento de las métricas. Crea un ciclo de retroalimentación que favorece la mejora continua a lo largo del tiempo. A medida que los endpoints gestionan tráfico real, empiezan a aparecer patrones en las métricas y los registros que pueden revelar problemas como un aumento de la latencia, tasas de error más elevadas o un comportamiento irregular del sistema.

La supervisión pone de relieve los aspectos que requieren atención. Por ejemplo, una latencia constantemente elevada puede indicar que hay que asignar mejor los recursos o escalar el sistema, mientras que una tasa de error creciente puede señalar problemas en la gestión de solicitudes o en la estabilidad del sistema.

Una vez identificados estos problemas, se pueden tomar medidas para mejorar la fiabilidad. Esto puede implicar ajustar la infraestructura, escalar los recursos o corregir problemas en el procesamiento de solicitudes. Después de aplicar estos cambios, se puede seguir supervisando el sistema para confirmar que el rendimiento ha mejorado.

Al vincular la supervisión con las mejoras continuas, los usuarios pueden mantener sistemas robustos a medida que aumenta el uso y cambian las condiciones.

Un ejemplo real: supervisión de la gestión de equipajes en la aviación#

Para entender mejor el impacto de la supervisión en una situación real, veamos cómo se aplica a la automatización de las operaciones aeroportuarias en tierra.

Pensemos en un sistema de visión diseñado para supervisar la carga y descarga de equipajes durante las operaciones en tierra de una aeronave. En esta configuración, se puede utilizar un modelo de detección de objetos como Ultralytics YOLO26 para detectar si el equipaje se cae de las cintas transportadoras o de los equipos de manipulación.

Durante las pruebas y las primeras fases del despliegue, el sistema en tiempo real puede funcionar bien, identificar el equipaje con precisión y responder rápidamente.

Sin embargo, en un aeropuerto en funcionamiento, las condiciones son mucho menos predecibles. La iluminación cambia a lo largo del día, varias cámaras transmiten datos al mismo tiempo y el volumen de solicitudes se dispara en los periodos de mayor actividad. Estos factores pueden aumentar la latencia o provocar errores y, sin visibilidad del sistema, es fácil que estos problemas pasen desapercibidos.

Aquí es donde la supervisión resulta valiosa. Al hacer un seguimiento del volumen de solicitudes, la latencia y las tasas de error, junto con registros detallados, los equipos pueden detectar rápidamente cuándo un endpoint se ralentiza o falla. Si la latencia aumenta durante las horas punta, puede ser necesario escalar los recursos; si los errores se disparan de repente, podría haber problemas con determinadas cámaras o con la gestión de solicitudes. Actuar a partir de estas señales ayuda a mantener la fiabilidad del sistema para que se pueda seguir supervisando con precisión la gestión de equipajes, aunque cambien las condiciones.

Conclusiones clave#

La supervisión permite que los modelos de visión artificial desplegados sigan siendo fiables cuando dejan atrás las condiciones controladas del desarrollo y empiezan a gestionar tráfico real. Al centrarse en señales del sistema como el volumen de solicitudes, la latencia, las tasas de error y el tiempo de actividad, además de en registros detallados, la supervisión ofrece la visibilidad necesaria para detectar problemas pronto y mantener los sistemas de producción en marcha sin contratiempos.

Al integrar la supervisión directamente en el flujo de trabajo de despliegue, Ultralytics Platform facilita el seguimiento del estado de los endpoints, la inspección del comportamiento de las solicitudes y el mantenimiento de sistemas fiables sin depender de herramientas independientes. Al reunir los datos, el entrenamiento, el despliegue y la supervisión en un solo lugar, la plataforma ayuda a los equipos a pasar de la experimentación a realizar despliegues fiables en situaciones reales.

Únete a nuestra creciente comunidad y explora nuestro repositorio de GitHub para descubrir más sobre la IA de visión. Para empezar a desarrollar hoy mismo con IA de visión, consulta nuestras opciones de licencia. Descubre cómo la IA en la fabricación y la IA en la sanidad están dando forma al futuro en nuestras páginas de soluciones.