Cómo realizar benchmarks de modelos de Ultralytics YOLO como YOLO11

Con el creciente número de modelos de IA disponibles hoy en día, seleccionar el más adecuado para tu aplicación específica de IA es esencial para lograr resultados precisos y fiables. Cada modelo varía en velocidad, precisión y rendimiento general. Entonces, ¿cómo podemos determinar qué modelo es el más adecuado para una tarea determinada? Esto es especialmente importante para sistemas en tiempo real como vehículos autónomos, soluciones de seguridad y robótica, donde la toma de decisiones rápida y fiable es crítica.

El benchmarking ayuda a responder a esta pregunta evaluando un modelo bajo diferentes condiciones. Proporciona información sobre cómo funciona el modelo en diversas configuraciones y equipos de hardware, lo que permite una toma de decisiones más informada.

Por ejemplo, Ultralytics YOLO11 es un modelo de visión artificial que admite diversas tareas de análisis de datos visuales como la detección de objetos y la segmentación de instancias. Para entender completamente sus capacidades, puedes realizar un benchmark de su rendimiento en diferentes configuraciones para ver cómo manejará escenarios del mundo real.

En este artículo, exploraremos cómo realizar un benchmark de modelos YOLO de Ultralytics como YOLO11, compararemos su rendimiento en diversos hardware y veremos cómo los diferentes formatos de exportación afectan a su velocidad y eficiencia. ¡Empecemos!

Link to this section¿Qué es el benchmarking de modelos?#

Cuando se trata de utilizar un modelo de IA de visión en una aplicación del mundo real, ¿cómo puedes saber si será lo suficientemente rápido, preciso y fiable? Realizar un benchmark del modelo puede proporcionar la información necesaria para responder a esto. El benchmarking de modelos es el proceso de probar y comparar diferentes modelos de IA para ver cuál funciona mejor.

Implica establecer una línea base para la comparación, elegir las medidas de rendimiento adecuadas (como la precisión o la velocidad) y probar todos los modelos bajo las mismas condiciones. Los resultados ayudan a identificar las fortalezas y debilidades de cada modelo, facilitando la decisión de cuál es el más adecuado para tu solución de IA. En particular, a menudo se utiliza un conjunto de datos de benchmark para ofrecer comparaciones justas y evaluar cómo funciona un modelo en diferentes escenarios del mundo real.

Fig 1. ¿Por qué realizar un benchmark de modelos de visión artificial? Imagen del autor.

Un ejemplo claro de por qué el benchmarking es vital son las aplicaciones en tiempo real como la vigilancia o la robótica, donde incluso ligeros retrasos pueden afectar a la toma de decisiones. El benchmarking ayuda a evaluar si un modelo puede procesar imágenes rápidamente mientras sigue entregando predicciones fiables.

También desempeña un papel clave en la identificación de cuellos de botella en el rendimiento. Si un modelo funciona lentamente o utiliza recursos excesivos, el benchmarking puede revelar si el problema proviene de limitaciones de hardware, configuraciones del modelo o formatos de exportación. Estas perspectivas son cruciales para seleccionar la configuración más efectiva.

Link to this sectionBenchmarking de modelos comparado con evaluación y pruebas de modelos#

El benchmarking, la evaluación y las pruebas de modelos son términos populares de IA que se utilizan juntos. Aunque son similares, no son lo mismo y tienen funciones diferentes. La prueba de modelos comprueba el rendimiento de un único modelo ejecutándolo en un conjunto de datos de prueba y midiendo factores como la precisión y la velocidad. Mientras tanto, la evaluación de modelos va un paso más allá analizando los resultados para entender las fortalezas, debilidades y el funcionamiento del modelo en situaciones del mundo real. Ambos se centran en un solo modelo a la vez.

El benchmarking de modelos, sin embargo, compara varios modelos lado a lado utilizando las mismas pruebas y conjuntos de datos. Ayuda a descubrir qué modelo funciona mejor para una tarea específica destacando las diferencias en precisión, velocidad y eficiencia entre ellos. Mientras que las pruebas y la evaluación se centran en un solo modelo, el benchmarking ayuda a elegir el correcto (o el mejor) comparando diferentes opciones de manera justa.

Fig 2. Cómo el benchmarking de modelos es diferente de la evaluación y las pruebas. Imagen del autor.

Link to this sectionUna visión general de Ultralytics YOLO11#

Ultralytics YOLO11 es un modelo de IA de visión fiable diseñado para realizar diversas tareas de visión artificial con precisión. Mejora las versiones anteriores de modelos YOLO y está repleto de funciones que pueden ayudar a resolver problemas del mundo real. Por ejemplo, se puede utilizar para detectar objetos, clasificar imágenes, segmentar regiones, rastrear movimientos y más. También se puede utilizar en aplicaciones de muchas industrias, desde seguridad hasta automatización y análisis.

Fig 3. Un ejemplo de uso de YOLO11 para segmentar personas en una imagen.

Uno de los beneficios clave relacionados con Ultralytics YOLO11 es lo fácil que es de usar. Con solo unas pocas líneas de código, cualquiera puede integrarlo en sus proyectos de IA sin tener que lidiar con configuraciones complicadas o requerir una experiencia técnica avanzada.

También funciona sin problemas en diferentes equipos de hardware, ejecutándose eficientemente en CPUs (Unidades Centrales de Procesamiento), GPUs (Unidades de Procesamiento Gráfico) y otros aceleradores de IA especializados. Ya sea implementado en dispositivos de borde o en servidores en la nube, ofrece un rendimiento sólido.

YOLO11 está disponible en varios tamaños de modelo, cada uno optimizado para diferentes tareas. El benchmarking ayuda a determinar qué versión se adapta mejor a tus necesidades específicas. Por ejemplo, una perspectiva clave que el benchmarking puede revelar es que los modelos más pequeños, como nano o small, tienden a ejecutarse más rápido pero pueden sacrificar algo de precisión.

Link to this sectionCómo realizar un benchmark de modelos YOLO como YOLO11#

Ahora que hemos entendido qué es el benchmarking y su importancia, veamos cómo puedes realizar un benchmark de modelos YOLO como YOLO11 y evaluar su eficiencia para obtener información valiosa.

Para empezar, puedes instalar el paquete de Python de Ultralytics ejecutando el siguiente comando en tu terminal o símbolo del sistema: “pip install ultralytics”. Si tienes algún problema durante la instalación, consulta nuestra Guía de problemas comunes para obtener consejos de solución de problemas.

Una vez instalado el paquete, puedes realizar fácilmente un benchmark de YOLO11 con solo unas pocas líneas de código Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Cuando ejecutas el código mostrado anteriormente, calcula qué tan rápido procesa las imágenes el modelo, cuántos fotogramas puede manejar en un segundo y con qué precisión detecta los objetos.

La mención de “coco8.yaml” en el código se refiere a un archivo de configuración de conjunto de datos basado en el conjunto de datos COCO8 (Common Objects in Context), una versión pequeña y de muestra del conjunto de datos COCO completo, a menudo utilizada para pruebas y experimentación.

Si estás probando YOLO11 para una aplicación específica, como el monitoreo de tráfico o imágenes médicas, utilizar un conjunto de datos relevante (por ejemplo, un conjunto de datos de tráfico o uno médico) te dará información más precisa. Realizar un benchmark con COCO proporciona una idea general del rendimiento, pero para obtener los mejores resultados, puedes elegir un conjunto de datos que refleje tu caso de uso real.

Link to this sectionEntender las salidas del benchmarking de YOLO11#

Una vez que se ha realizado el benchmark de YOLO11, el siguiente paso es interpretar los resultados. Después de ejecutar el benchmark, verás varios números en los resultados. Estas métricas ayudan a evaluar cómo funciona YOLO11 en términos de precisión y velocidad.

Aquí tienes algunas métricas de benchmarking de YOLO11 notables a tener en cuenta:

• mAP50-95: Mide la precisión de la detección de objetos. Un valor más alto significa que el modelo es mejor reconociendo objetos.
• accuracy_top5: Se utiliza comúnmente para tareas de clasificación. Muestra con qué frecuencia aparece la etiqueta correcta en las cinco predicciones principales.
• Inference time: El tiempo necesario para procesar una sola imagen, medido en milisegundos. Valores más bajos significan un procesamiento más rápido.

Fig 4. Un gráfico que muestra el rendimiento del benchmark de YOLO11.

Link to this sectionOtros factores a considerar al realizar un benchmark de YOLO11#

Mirar solo los resultados del benchmark solo cuenta una parte de la historia. Para obtener una mejor comprensión del rendimiento, es útil comparar diferentes ajustes y opciones de hardware. Aquí hay algunas cosas importantes a considerar:

• GPU vs. CPU: Las GPUs pueden procesar imágenes mucho más rápido que las CPUs. El benchmarking te ayuda a ver si una CPU es lo suficientemente rápida para tus necesidades o si te beneficiarías de usar una GPU.
• Ajustes de precisión (FP32, FP16, INT8): Estos controlan cómo maneja los números el modelo. Una menor precisión (como FP16 o INT8) hace que el modelo se ejecute más rápido y utilice menos memoria, pero podría reducir ligeramente la precisión.
• Formatos de exportación: Convertir el modelo a un formato como TensorRT puede hacer que se ejecute mucho más rápido en cierto hardware. Esto es útil si estás optimizando la velocidad en dispositivos específicos.

Link to this sectionCómo realizar un benchmark de YOLO11 en diferentes hardware#

El paquete de Python de Ultralytics te permite convertir modelos YOLO11 a diferentes formatos que se ejecutan de manera más eficiente en hardware específico, mejorando tanto la velocidad como el uso de memoria. Cada formato de exportación está optimizado para diferentes dispositivos.

Por un lado, el formato ONNX puede acelerar el rendimiento en diversos entornos. Por otro lado, OpenVINO mejora la eficiencia en hardware de Intel, y formatos como CoreML o TF SavedModel son ideales para dispositivos Apple y aplicaciones móviles.

Echemos un vistazo a cómo puedes realizar un benchmark de YOLO11 en un formato específico. El código a continuación realiza un benchmark de YOLO11 en el formato ONNX, que es ampliamente utilizado para ejecutar modelos de IA tanto en CPUs como en GPUs.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Más allá de los resultados del benchmarking, la elección del formato adecuado depende de las especificaciones de tu sistema y las necesidades de implementación. Por ejemplo, los coches autónomos necesitan una detección de objetos rápida. Si planeas usar GPUs de NVIDIA para acelerar el rendimiento, el formato TensorRT es la opción ideal para ejecutar YOLO11 en una GPU de NVIDIA.

Fig 5. Uso de YOLO11 para detección de objetos en coches autónomos.

Link to this sectionConclusiones clave#

El paquete de Python de Ultralytics hace que el benchmarking de YOLO11 sea sencillo al proporcionar comandos simples que pueden realizar pruebas de rendimiento por ti. Con solo unos pocos pasos, puedes ver cómo afectan diferentes configuraciones a la velocidad y precisión de los modelos, ayudándote a tomar decisiones informadas sin necesidad de una gran experiencia técnica.

El hardware y la configuración correctos también pueden marcar una gran diferencia. Ajustar parámetros como el tamaño del modelo y el conjunto de datos te permite ajustar YOLO11 para obtener el mejor rendimiento, ya sea ejecutándolo en una GPU de alta gama o localmente en un dispositivo de borde.

Conecta con nuestra comunidad y explora proyectos de IA de vanguardia en nuestro repositorio de GitHub. Aprende sobre el impacto de la IA en la agricultura y el papel de la visión artificial en la fabricación a través de nuestras páginas de soluciones. ¡Explora nuestros planes de licencia y comienza tu viaje de IA ahora!