Supervisión de los modelos de visión artificial implementados en Ultralytics

Probar modelos de visión artificial que analizan imágenes y vídeos no siempre es lo mismo que ejecutarlos en entorno de producción. Durante el desarrollo, estos modelos o algoritmos se prueban con conjuntos de datos limpios y bien preparados, en los que las condiciones están controladas y son predecibles.

Una vez implementados, las cosas se vuelven más dinámicas. Los modelos se enfrentan al tráfico real, en el que el volumen de solicitudes puede variar, los tiempos de respuesta pueden cambiar y pueden producirse fallos ocasionales. 

En esta fase, la atención se centra en comprobar si el sistema funciona de forma fiable, con terminales que se mantengan disponibles, receptivos y estables en condiciones cambiantes.

Por eso es fundamental llevar a cabo un seguimiento. Ofrece una visión clara del comportamiento de los dispositivos finales implementados en producción a través de métricas como el volumen de solicitudes, la latencia, las tasas de error y el estado general del sistema.

Para facilitar esta tarea, disponer de las herramientas adecuadas es tan importante como el propio modelo. Recientemente, Ultralytics Ultralytics , nuestro nuevo entorno integral que aúna todo el flujo de trabajo de la visión artificial, desde los datos y el entrenamiento hasta la implementación y la supervisión.

Gracias a la supervisión integrada directamente en este flujo de trabajo, los usuarios pueden track del estado track , analizar el comportamiento de las solicitudes y mantener la fiabilidad de los sistemas sin necesidad de recurrir a herramientas independientes. En este artículo, veremos cómo utilizar Ultralytics para supervisar los puntos finales de los modelos implementados y garantizar el buen funcionamiento de los sistemas de producción. ¡Empecemos!

Una visión general de la supervisión de modelos de IA

En el ciclo de vida de un modelo de IA, la supervisión consiste en observar cómo se comportan los sistemas implementados una vez que el modelo está en funcionamiento y atiende solicitudes del mundo real. Mientras que el entrenamiento y la validación muestran el rendimiento de un modelo de aprendizaje automático (modelo ML) en conjuntos de datos preparados, la supervisión se centra en cómo funciona el punto final implementado en un entorno de producción.

Una parte fundamental de la supervisión consiste en realizar un seguimiento de las métricas a nivel del sistema que reflejan la fiabilidad y la capacidad de respuesta. Métricas como la latencia y el tiempo de actividad ayudan a indicar en qué medida el sistema gestiona adecuadamente las solicitudes entrantes. La latencia mide el tiempo que tarda en procesarse una solicitud y devolverse una respuesta, mientras que el tiempo de actividad pone de manifiesto la constancia con la que el punto final permanece disponible.

Otro aspecto clave es la observabilidad, que permite conocer cómo se gestionan las solicitudes. Cada vez que se envía una entrada —como una imagen o un fotograma de vídeo— a un modelo implementado, se procesa como una solicitud de inferencia. 

Los registros recogen estas solicitudes junto con datos como marcas de tiempo, tiempos de respuesta y códigos de estado. Estos registros facilitan el seguimiento de las solicitudes, la resolución de problemas y la investigación de fallos cuando se producen. Resultan especialmente útiles para identificar patrones como errores recurrentes, respuestas lentas o comportamientos inesperados del sistema.

Al combinar métricas y registros, la supervisión ayuda a los usuarios a comprender cómo funcionan sus sistemas en producción y a responder rápidamente ante cualquier problema que surja.

Una comparación entre los indicadores de rendimiento del modelo y los del sistema

Antes de entrar en materia con la supervisión de la producción, analicemos la diferencia entre las métricas de rendimiento de los modelos y las métricas del sistema.

Por lo general, la supervisión de modelos se asocia a métricas de evaluación, también conocidas como métricas de modelo, tales como la exactitud, la precisión, la recuperación y mAP precisión media). Estas métricas se utilizan para describir el comportamiento del modelo y evaluar la calidad de sus predicciones, a menudo en relación con los datos de producción o los datos de entrada. Pueden resultar especialmente útiles para identificar casos extremos o valores atípicos en los nuevos datos.

Sin embargo, esto difiere de la supervisión de un sistema implementado en producción. En este contexto, la supervisión se centra en el funcionamiento del sistema, más que en la evaluación directa de las predicciones del modelo.

En lugar de métricas de modelo, la supervisión de la implementación se basa en señales a nivel del sistema, como el volumen de solicitudes, la latencia, las tasas de error y el tiempo de actividad. Estas métricas permiten conocer cómo gestionan los puntos finales los datos de entrada, la coherencia de sus respuestas y su funcionamiento en entornos de producción.

El papel de la supervisión de modelos en los proyectos de visión artificial

A continuación, veamos un ejemplo real que pone de manifiesto la necesidad de contar con un sistema de supervisión en las implementaciones de visión artificial.

Pensemos en una solución de visión artificial que utilice la estimación de la postura —una tarea de visión artificial que sirve para identificar y analizar los movimientos del cuerpo humano— con el fin de supervisar el cumplimiento de las normas de seguridad por parte de los trabajadores de la construcción. Durante la implementación inicial del modelo, un sistema de este tipo podría funcionar bien en condiciones controladas, con buena visibilidad y en situaciones estándar.

Sin embargo, las obras de construcción reales plantean una complejidad adicional. El volumen de solicitudes puede variar a lo largo del día, las condiciones de la red pueden ser irregulares y es posible que varias cámaras o dispositivos estén enviando datos al mismo tiempo. Estos factores pueden provocar respuestas más lentas o fallos ocasionales si el sistema no se supervisa adecuadamente.

En un entorno de producción como este, es fundamental saber con qué fiabilidad funciona el sistema. La supervisión permite saber si los puntos finales están disponibles, con qué rapidez responden a las solicitudes entrantes y con qué consistencia gestionan el tráfico a lo largo del tiempo.

Por ejemplo, un aumento de la latencia puede indicar una mayor carga o limitaciones de recursos, mientras que un incremento en las tasas de error puede apuntar a problemas en la gestión de las solicitudes o en la estabilidad del sistema. Los registros aportan más contexto al mostrar cómo se procesan las solicitudes individuales y dónde se producen los fallos.

Al hacer un seguimiento de estas señales, los entusiastas de la IA y los científicos de datos pueden detectar problemas de forma temprana, resolverlos con mayor eficacia y garantizar que sus sistemas sigan funcionando de manera fiable a medida que cambian las condiciones del mundo real.

Uso de Ultralytics para supervisar los modelos de visión implementados

En muchos flujos de trabajo de aprendizaje profundo, la supervisión suele gestionarse mediante herramientas independientes para el registro de datos, las métricas y el estado del sistema. Esta configuración fragmentada puede dificultar la obtención de una visión clara del funcionamiento de los puntos finales desplegados en producción y añade complejidad a la gestión de los despliegues.

Ultralytics simplifica este proceso al integrar la supervisión directamente en un entorno unificado que abarca todo el flujo de trabajo de la visión artificial, desde la ingesta y anotación de datos hasta el entrenamiento, la implementación y la supervisión.

Gracias a esta configuración integrada, los usuarios pueden track gestionan el tráfico real los terminales desplegados sin necesidad de configurar sistemas de registro externos ni paneles de control adicionales. Todo está disponible en un solo lugar, lo que facilita la observación del comportamiento del sistema y garantiza la fiabilidad de los despliegues a lo largo del tiempo.

Se puede acceder a las funciones de supervisión directamente desde la pestaña «Implementación». Desde un único panel de control, los usuarios pueden track las métricas track , analizar el comportamiento a nivel de solicitud y visualizar las tendencias. Estas visualizaciones integradas facilitan la comprensión del rendimiento de las soluciones sin necesidad de cambiar de herramienta.

Al integrar la supervisión, la implementación y la gestión de modelos en un flujo de trabajo más amplio, la plataforma reduce la complejidad. Esto facilita centrarse en la gestión de las implementaciones, la optimización del rendimiento del sistema y el mantenimiento de la fiabilidad.

Funciones de supervisión integradas de Ultralytics

En las implementaciones reales, la supervisión depende de tener una visión clara del funcionamiento de los sistemas a medida que las condiciones cambian con el tiempo. Va más allá del simple seguimiento de unas pocas métricas e implica comprender cómo se comportan los terminales implementados en los distintos entornos y gestionar de forma eficaz múltiples implementaciones.

Inspirada en los comentarios de la comunidad de IA aplicada a la visión artificial sobre los retos habituales en este campo, la Ultralytics incluye varias funciones que hacen que la supervisión resulte más práctica y escalable. 

A continuación, te ofrecemos una descripción general de algunas de estas características principales:

• Visibilidad global de la implementación: La página «Implementar» incluye un mapa mundial interactivo que muestra las regiones de implementación con indicadores visuales para los puntos finales activos y en curso, lo que permite a los usuarios supervisar la distribución geográfica y la actividad regional.
• Vistas flexibles del panel: El panel de implementaciones ofrece varios modos de visualización, entre los que se incluyen la vista de tarjetas, la cuadrícula compacta y la vista de tabla con columnas ordenables, como nombre, región, estado y solicitudes, lo que permite realizar un seguimiento y una comparación estructurados.
• Supervisión de múltiples puntos finales: el panel de control recopila los datos de supervisión de todas las implementaciones mediante fichas de resumen y listas de implementaciones.
• Políticas de retención de datos: Los datos de supervisión se conservan durante un periodo determinado; las métricas están disponibles durante 30 días y los registros, durante 7 días, lo que facilita el análisis del rendimiento reciente y los procesos de depuración.
• Compatibilidad con la supervisión externa: los puntos finales de implementación pueden supervisarse mediante herramientas externas como Datadog, New Relic y servicios de supervisión del tiempo de actividad, o bien puede accederse a ellos a través de puntos finales de API para realizar una supervisión personalizada y comprobaciones de estado.

A continuación, analizaremos algunas de estas funciones con más detalle y veremos cómo se pueden utilizar para supervisar los terminales implementados en producción.

Cómo realizar track los indicadores track de rendimiento mediante Ultralytics

Una vez implementado el modelo, la supervisión comienza con el seguimiento de las métricas clave del sistema. Si bien métricas como la precisión y la recuperación resultan útiles durante el desarrollo, la supervisión en producción se centra en indicadores a nivel del sistema, como el tiempo de respuesta y las tasas de error, que proporcionan información cuantificable sobre la fiabilidad con la que los puntos finales gestionan el tráfico real.

Ultralytics ofrece un panel de control centralizado que proporciona una visión clara de la actividad de los terminales y del comportamiento del sistema. En concreto, el panel de control de implementación incluye cuatro métricas clave que muestran cómo se utilizan los terminales y cómo responden a las solicitudes entrantes.

A continuación, analizamos estas métricas con más detalle:

• Total de solicitudes: el número total de solicitudes realizadas en todos los puntos de conexión durante un periodo de 24 horas. Esto ayuda a identificar los patrones de uso y la demanda general.
• Implementaciones activas: el número de terminales que están actualmente en funcionamiento y atendiendo solicitudes.
• Latencia P95: el tiempo de respuesta en el que se completan el 95 % de las solicitudes. Esto ofrece una visión más realista del rendimiento, ya que tiene en cuenta las respuestas más lentas.
• Índice de error: es el porcentaje de solicitudes fallidas respecto al número total de solicitudes. Esta métrica ayuda a identificar problemas y puede utilizarse para detect .

En pocas palabras, estas métricas ofrecen una visión clara del funcionamiento de los dispositivos finales implementados en el entorno de producción. Al analizar los patrones de uso, los equipos y los usuarios pueden comprender la distribución del tráfico, identificar los periodos de mayor carga y garantizar que los sistemas sigan siendo receptivos y fiables a medida que aumenta el uso.

Comprender el comportamiento de la implementación de modelos a través de los registros

Si bien las métricas ofrecen una visión general del rendimiento del sistema, los registros proporcionan una visión más detallada de cómo gestionan las solicitudes individuales los puntos finales implementados. Los registros recogen cada solicitud enviada a un punto final junto con la respuesta correspondiente.

Son útiles para realizar un seguimiento de los problemas, analizar los fallos y comprender cómo se procesan las solicitudes. Dentro de la Ultralytics , puedes seleccionar cualquier implementación para ver sus detalles, incluidos los registros.

Las entradas de registro de la plataforma se muestran en un formato estructurado, lo que facilita la comprensión de lo que ocurrió durante cada solicitud. Cada entrada incluye un nivel de gravedad, que indica la importancia del evento, junto con una marca de tiempo que muestra cuándo se produjo. 

Además, contiene un mensaje que describe el evento y detalles relacionados con el protocolo HTTP, como los códigos de estado y la latencia. Esta información ayuda a rastrear las solicitudes, facilitar la resolución de problemas y depurar incidencias de forma más eficaz. Por si fuera poco, los registros se agrupan por nivel de gravedad, de modo que los usuarios pueden dar prioridad a las implementaciones que requieren atención. 

Análisis del estado y la fiabilidad de los dispositivos finales en Ultralytics

La supervisión también implica conocer el estado general de los terminales desplegados, incluyendo si funcionan correctamente, responden a tiempo y gestionan las solicitudes de forma coherente y sin errores. La Ultralytics ofrece una visión clara del estado de cada despliegue, lo que facilita la comprobación de que los terminales funcionan según lo previsto.

La plataforma incluye indicadores visuales de estado para cada implementación, que se muestran en fichas individuales de implementación. 

Por ejemplo, un indicador verde indica que el punto final funciona correctamente y responde con normalidad, mientras que un indicador rojo señala problemas o un periodo de inactividad. Un icono giratorio indica que el sistema está comprobando activamente el estado de la implementación.

Al realizar un seguimiento del estado de los puntos finales a lo largo del tiempo, es posible detect de forma temprana, mantener un rendimiento constante y garantizar una experiencia estable para las aplicaciones que se ejecutan en producción.

La relación entre los datos de seguimiento y la mejora del rendimiento

La supervisión de modelos no consiste únicamente en realizar un seguimiento de las métricas. Crea un ciclo de retroalimentación que favorece la mejora continua a lo largo del tiempo. A medida que los puntos finales gestionan el tráfico real, empiezan a surgir patrones en las métricas y los registros que pueden revelar problemas como un aumento de la latencia, mayores índices de error o un comportamiento inconsistente del sistema.

La supervisión permite identificar las áreas que requieren atención. Por ejemplo, una latencia elevada de forma constante puede indicar la necesidad de mejorar la asignación de recursos o el escalado, mientras que un aumento en la tasa de errores puede apuntar a problemas en la gestión de las solicitudes o en la estabilidad del sistema.

Una vez identificados estos problemas, se pueden tomar medidas para mejorar la fiabilidad. Esto puede implicar ajustar la infraestructura, ampliar los recursos o solucionar problemas relacionados con el procesamiento de las solicitudes. Tras estos cambios, se puede seguir supervisando los sistemas para confirmar que el rendimiento ha mejorado.

Al vincular la supervisión con las mejoras continuas, los usuarios pueden mantener sistemas robustos a medida que aumenta el uso y cambian las condiciones.

Análisis de un ejemplo real: supervisión de la gestión del equipaje en el sector de la aviación

Para comprender mejor el impacto de la monitorización en un contexto real, veamos cómo se aplica a la automatización de las operaciones terrestres de la aviación.

Tomemos como ejemplo un sistema de visión diseñado para supervisar la carga y descarga de equipaje durante las operaciones en tierra de los aviones. En esta configuración, se puede utilizar un modelo de detección de objetos como Ultralytics para detect el equipaje se cae de las cintas transportadoras o de los equipos de manipulación. 

Durante las pruebas y las primeras fases de implementación, es posible que el sistema en tiempo real funcione correctamente, identificando con precisión el equipaje y respondiendo con rapidez.