Cómo realizar benchmarks de modelos de Ultralytics YOLO como YOLO11

Con el creciente número de modelos de IA disponibles hoy en día, seleccionar el más adecuado para tu aplicación específica de IA es esencial para lograr resultados precisos y fiables. Cada modelo varía en velocidad, precisión y rendimiento general. Entonces, ¿cómo podemos determinar qué modelo es el más adecuado para una tarea determinada? Esto es especialmente importante para sistemas en tiempo real como vehículos autónomos, soluciones de seguridad y robótica, donde la toma de decisiones rápida y fiable es crítica.

El benchmarking ayuda a responder a esta pregunta evaluando un modelo bajo diferentes condiciones. Proporciona información sobre cómo funciona el modelo en diversas configuraciones y equipos de hardware, lo que permite una toma de decisiones más informada.

Por ejemplo, Ultralytics YOLO11 es un modelo de computer vision que admite varias tareas de análisis de datos visuales como la detección de objetos y la segmentación de instancias. Para entender por completo sus capacidades, puedes evaluar su rendimiento en diferentes configuraciones para ver cómo manejará escenarios del mundo real.

En este artículo, exploraremos cómo evaluar los Ultralytics YOLO models como YOLO11, comparar su rendimiento en distintos hardwares y ver cómo los diferentes formatos de exportación afectan a su velocidad y eficiencia. ¡Empecemos!

¿Qué es el benchmarking de modelos?#

Cuando se trata de utilizar un modelo de IA de visión en una aplicación del mundo real, ¿cómo puedes saber si será lo suficientemente rápido, preciso y fiable? Realizar un benchmark del modelo puede proporcionar la información necesaria para responder a esto. El benchmarking de modelos es el proceso de probar y comparar diferentes modelos de IA para ver cuál funciona mejor.

Consiste en establecer una línea base para la comparación, elegir las medidas de rendimiento adecuadas (como precisión o velocidad) y probar todos los modelos bajo las mismas condiciones. Los resultados ayudan a identificar los puntos fuertes y débiles de cada modelo, lo que facilita decidir cuál se adapta mejor a tu AI solution específica. En particular, a menudo se utiliza un benchmark dataset para ofrecer comparaciones justas y evaluar el rendimiento de un modelo en diferentes escenarios del mundo real.

Fig 1. ¿Por qué realizar un benchmark de modelos de visión artificial? Imagen del autor.

Un ejemplo claro de por qué el benchmarking es vital son las aplicaciones en tiempo real como la vigilancia o la robótica, donde incluso ligeros retrasos pueden afectar a la toma de decisiones. El benchmarking ayuda a evaluar si un modelo puede procesar imágenes rápidamente mientras sigue entregando predicciones fiables.

También desempeña un papel clave en la identificación de cuellos de botella en el rendimiento. Si un modelo funciona lentamente o utiliza recursos excesivos, el benchmarking puede revelar si el problema proviene de limitaciones de hardware, configuraciones del modelo o formatos de exportación. Estas perspectivas son cruciales para seleccionar la configuración más efectiva.

Benchmarking de modelos comparado con evaluación y pruebas de modelos#

El benchmarking, la evaluación y las pruebas de modelos son términos populares de IA que se usan juntos. Aunque son similares, no son lo mismo y tienen funciones diferentes. El Model testing comprueba el rendimiento de un solo modelo ejecutándolo en un conjunto de datos de prueba y midiendo factores como la precisión y la velocidad. Por su parte, la evaluación de modelos va un paso más allá al analizar los resultados para comprender las fortalezas, las debilidades y el funcionamiento del modelo en situaciones del mundo real. Ambos se centran en un solo modelo a la vez.

El benchmarking de modelos, sin embargo, compara varios modelos lado a lado utilizando las mismas pruebas y conjuntos de datos. Ayuda a descubrir qué modelo funciona mejor para una tarea específica destacando las diferencias en precisión, velocidad y eficiencia entre ellos. Mientras que las pruebas y la evaluación se centran en un solo modelo, el benchmarking ayuda a elegir el correcto (o el mejor) comparando diferentes opciones de manera justa.

Fig 2. Cómo el benchmarking de modelos es diferente de la evaluación y las pruebas. Imagen del autor.

Una visión general de Ultralytics YOLO11#

Ultralytics YOLO11 es un modelo de IA visual fiable diseñado para realizar varias computer vision tasks con precisión. Mejora las versiones anteriores de los modelos YOLO y está repleto de características que pueden ayudar a resolver problemas del mundo real. Por ejemplo, se puede usar para detectar objetos, clasificar imágenes, segmentar regiones, rastrear movimientos y mucho más. También se puede aplicar en numerosos sectores, desde la seguridad hasta la automatización y la analítica.

Fig 3. Un ejemplo de cómo usar Ultralytics YOLO11 para segmentar personas en una imagen.

Uno de los beneficios clave relacionados con Ultralytics YOLO11 es lo fácil que es de usar. Con solo unas pocas líneas de código, cualquiera puede integrarlo en sus proyectos de IA sin tener que lidiar con configuraciones complicadas o requerir una experiencia técnica avanzada.

También funciona sin problemas en diferentes equipos de hardware, ejecutándose eficientemente en CPUs (Unidades Centrales de Procesamiento), GPUs (Unidades de Procesamiento Gráfico) y otros aceleradores de IA especializados. Ya sea implementado en dispositivos de borde o en servidores en la nube, ofrece un rendimiento sólido.

Ultralytics YOLO11 está disponible en varios tamaños de modelo, cada uno optimizado para diferentes tareas. Las pruebas comparativas ayudan a determinar qué versión se adapta mejor a tus necesidades específicas. Por ejemplo, una conclusión clave que pueden revelar las pruebas comparativas es que los modelos más pequeños, como los nano o small, tienden a ejecutarse más rápido, pero pueden sacrificar algo de precisión.

Cómo evaluar modelos YOLO como Ultralytics YOLO11#

Ahora que hemos comprendido qué son las pruebas comparativas y su importancia, veamos cómo puedes evaluar modelos YOLO como Ultralytics YOLO11 y medir su eficiencia para obtener información valiosa.

Para empezar, puedes instalar el Ultralytics Python package ejecutando el siguiente comando en tu terminal o símbolo del sistema: “pip install ultralytics”. Si encuentras algún problema durante la instalación, consulta nuestra Common Issues Guide para obtener consejos de solución de problemas.

Una vez instalado el paquete, puedes benchmark Ultralytics YOLO11 fácilmente con solo unas pocas líneas de código en Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Cuando ejecutas el código mostrado anteriormente, calcula qué tan rápido procesa las imágenes el modelo, cuántos fotogramas puede manejar en un segundo y con qué precisión detecta los objetos.

La mención de “coco8.yaml” en el código se refiere a un archivo de configuración de conjuntos de datos basado en el conjunto de datos COCO8 (Common Objects in Context), una versión pequeña y de muestra del conjunto de datos COCO completo que se suele utilizar para pruebas y experimentación.

Si estás probando Ultralytics YOLO11 para una aplicación específica, como el monitoreo de tráfico o la imagen médica, utilizar un conjunto de datos relevante (por ejemplo, un conjunto de datos de tráfico o médico) te dará información más precisa. Las pruebas comparativas con COCO ofrecen una idea general del rendimiento, pero para obtener los mejores resultados, puedes elegir un conjunto de datos que refleje tu caso de uso real.

Comprender los resultados de las pruebas de rendimiento de Ultralytics YOLO11#

Una vez que hayas evaluado el rendimiento de Ultralytics YOLO11, el siguiente paso es interpretar los resultados. Después de ejecutar la prueba de rendimiento, verás varios números en los resultados. Estas métricas ayudan a evaluar el rendimiento de YOLO11 en términos de precisión y velocidad.

Aquí tienes algunas métricas notables de pruebas comparativas de Ultralytics YOLO11 a tener en cuenta:

• mAP50-95: Mide la precisión de la detección de objetos. Un valor más alto significa que el modelo es mejor reconociendo objetos.
• accuracy_top5: Se utiliza comúnmente para tareas de clasificación. Muestra con qué frecuencia aparece la etiqueta correcta en las cinco predicciones principales.
• Inference time: El tiempo necesario para procesar una sola imagen, medido en milisegundos. Valores más bajos significan un procesamiento más rápido.

Fig 4. Un gráfico que muestra el rendimiento de referencia de YOLO11.

Otros factores a tener en cuenta al evaluar Ultralytics YOLO11#

Mirar solo los resultados del benchmark solo cuenta una parte de la historia. Para obtener una mejor comprensión del rendimiento, es útil comparar diferentes ajustes y opciones de hardware. Aquí hay algunas cosas importantes a considerar:

• GPU vs. CPU: Las GPUs pueden procesar imágenes mucho más rápido que las CPUs. El benchmarking te ayuda a ver si una CPU es lo suficientemente rápida para tus necesidades o si te beneficiarías de usar una GPU.
• Ajustes de precisión (FP32, FP16, INT8): Estos controlan cómo maneja los números el modelo. Una menor precisión (como FP16 o INT8) hace que el modelo se ejecute más rápido y utilice menos memoria, pero podría reducir ligeramente la precisión.
• Export formats: Convertir el modelo a un formato como TensorRT puede hacer que se ejecute mucho más rápido en determinados hardwares. Esto es útil si estás optimizando la velocidad en dispositivos específicos.

Cómo realizar pruebas comparativas de Ultralytics YOLO11 en diferentes hardwares#

El paquete de Python de Ultralytics te permite convertir modelos YOLO11 a diferentes formatos que se ejecutan de manera más eficiente en hardware específico, mejorando tanto la velocidad como el uso de memoria. Cada formato de exportación está optimizado para diferentes dispositivos.

Por un lado, el ONNX format puede acelerar el rendimiento en varios entornos. Por otro lado, OpenVINO mejora la eficiencia en hardware de Intel, y formatos como CoreML o TF SavedModel son ideales para dispositivos Apple y aplicaciones móviles.

Echemos un vistazo a cómo puedes evaluar el rendimiento de Ultralytics YOLO11 en un formato específico. El código siguiente evalúa el rendimiento de YOLO11 en el formato ONNX, que se utiliza ampliamente para ejecutar modelos de IA tanto en CPUs como en GPUs.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Más allá de los resultados de las pruebas comparativas, la elección del formato adecuado depende de las especificaciones de tu sistema y de tus necesidades de despliegue. Por ejemplo, los self-driving cars necesitan una detección de objetos rápida. Si planeas usar GPUs de NVIDIA para acelerar el rendimiento, el formato TensorRT es la opción ideal para ejecutar Ultralytics YOLO11 en una GPU de NVIDIA.

Fig 5. Uso de YOLO11 para la detección de objetos en coches autónomos.

Conclusiones clave#

El paquete de Python de Ultralytics hace que el benchmarking de YOLO11 sea sencillo al proporcionar comandos simples que pueden realizar pruebas de rendimiento por ti. Con solo unos pocos pasos, puedes ver cómo afectan diferentes configuraciones a la velocidad y precisión de los modelos, ayudándote a tomar decisiones informadas sin necesidad de una gran experiencia técnica.

El hardware y la configuración adecuados también pueden marcar una gran diferencia. Ajustar parámetros como el tamaño del modelo y el conjunto de datos te permite optimizar Ultralytics YOLO11 para conseguir el mejor rendimiento, ya sea que lo ejecutes en una GPU de gama alta o de forma local en un dispositivo edge.

Conecta con our community y explora proyectos de IA punteros en our GitHub repository. Descubre el impacto de AI in agriculture y el papel de computer vision in manufacturing a través de nuestras páginas de soluciones. ¡Explora our licensing plans y comienza tu viaje en la IA ahora!