¿Qué es la segmentación de instancias? Una guía rápida

Las aplicaciones de Computer vision son cada vez más comunes en nuestra vida diaria, desde cámaras de tráfico que monitorizan las condiciones de la carretera hasta sistemas de autopago en tiendas. Al permitir que las máquinas comprendan los datos visuales de manera similar a los humanos, la IA de visión está causando impacto en una variedad de industrias.

Muchas de estas aplicaciones dependen de la detección de objetos, una computer vision task que coloca cuadros delimitadores alrededor de objetos clave en las imágenes. Aunque este enfoque suele funcionar bien, algunas soluciones de análisis de imágenes necesitan una precisión aún mayor.

Por ejemplo, las imágenes médicas requieren algo más que detectar un tumor: es crucial delimitar su forma exacta. Del mismo modo, en robótica, las máquinas necesitan reconocer los contornos exactos de un objeto para agarrarlo correctamente. Para abordar estos desafíos, la segmentación de instancias ofrece una solución más precisa.

La segmentación de instancias es una tarea de visión artificial diseñada para admitir casos de uso en los que detectar objetos no es suficiente, ya que proporciona precisión a nivel de píxel. Modelos de visión artificial como Ultralytics YOLO11 se pueden utilizar para aplicar la segmentación de instancias a imágenes y vídeos fácilmente.

Fig 1. Ejemplo de uso de YOLO11 para la segmentación de instancias.

En esta guía, desglosaremos cómo funciona la segmentación de instancias, sus aplicaciones y cómo se puede entrenar de forma personalizada Ultralytics YOLO11 para tareas de segmentación específicas.

¿Qué es la segmentación de instancias?#

Supongamos que hay una foto de grupo de personas que están muy juntas. La detección de objetos puede ayudarte a dibujar cuadros alrededor de cada persona, pero eso no te indica su forma exacta.

La Instance segmentation, en cambio, es similar a perfilar cuidadosamente alrededor de cada persona para que puedas ver su silueta completa, incluso si se solapan. En lugar de marcar solo dónde está algo con un cuadro, identifica la forma exacta de cada objeto a nivel de píxel, lo que facilita la comprensión de imágenes complejas.

El resultado es una máscara detallada que rellena la forma de un objeto, señalando exactamente qué píxeles le pertenecen. Este nivel de precisión es útil en muchas aplicaciones del mundo real donde es importante comprender la forma y los límites exactos de los objetos.

Fig 2. Demostración de la compatibilidad de Ultralytics YOLO11 con la segmentación de instancias.

Segmentación de instancias frente a segmentación semántica#

Mientras exploras la segmentación de instancias, es posible que te encuentres con el concepto de semantic segmentation.

Ambas técnicas ayudan a los ordenadores a comprender las imágenes a nivel de píxel, pero sirven para propósitos diferentes. La segmentación semántica etiqueta cada píxel según su categoría, agrupando todos los objetos del mismo tipo. Por ejemplo, en una imagen con varios coches, la segmentación semántica marcaría todos ellos como "coche" sin distinguir entre vehículos individuales.

La segmentación de instancias, por el contrario, va un paso más allá al identificar cada objeto por separado. Asigna etiquetas únicas a instancias individuales y crea máscaras precisas alrededor de sus formas. Así, en la misma imagen, la segmentación de instancias no solo etiquetaría todo como "coche", sino que reconocería y perfilaría cada coche de forma individual.

La principal diferencia entre ambas es que la segmentación semántica agrupa los objetos por categoría, mientras que la segmentación de instancias distingue cada objeto como una entidad única con límites claros. La elección de qué tarea utilizar depende de la aplicación específica: si basta con saber qué hay en una imagen o si es importante diferenciar entre objetos individuales.

Fig 3. Segmentación de instancias frente a segmentación semántica (a la derecha y a la izquierda, respectivamente).

Modelos populares de segmentación de instancias#

Hoy en día, existen varios modelos de segmentación de instancias disponibles para la comunidad de IA de visión. Algunos son más rápidos, otros son más precisos y otros son más fáciles de usar.

Estas opciones, aunque útiles, pueden llevar a la pregunta: ¿cuál es la adecuada para una tarea específica? Entre las opciones, los modelos Ultralytics YOLO son bastante populares porque se centran en la velocidad y la precisión.

Asimismo, estos modelos han evolucionado significativamente a lo largo de los años. Por ejemplo, Ultralytics YOLOv5 simplificó el despliegue utilizando marcos como PyTorch, haciendo que la IA de visión avanzada sea accesible para un público más amplio sin requerir una profunda experiencia técnica.

Basándose en ese éxito, Ultralytics YOLOv8 introdujo un soporte mejorado para tareas de visión artificial como la segmentación de instancias, la estimación de poses y la clasificación de imágenes.

Ahora, Ultralytics YOLO11 lleva el rendimiento a un nuevo nivel. Logra una mayor precisión media (mAP) en el conjunto de datos COCO con un 22% menos de parámetros que YOLOv8m, lo que significa que puede reconocer objetos con mayor precisión utilizando menos recursos.

Fig 4. Evaluación comparativa de YOLO11.

En pocas palabras, Ultralytics YOLO11 ofrece una precisión de última generación sin comprometer la eficiencia, lo que lo convierte en un avance revolucionario en el campo.

Comprender cómo funciona la segmentación de instancias#

A continuación, exploremos cómo funciona normalmente la segmentación de instancias. Los computer vision models más antiguos utilizan un enfoque de dos pasos.

Primero, detectan objetos dibujando cuadros delimitadores a su alrededor. Luego, generan una máscara a nivel de píxel para perfilar la forma exacta de cada objeto. Un ejemplo conocido es Mask R-CNN, que se basa en modelos de object detection añadiendo un paso de predicción de máscaras. Aunque este método es eficaz, puede ser lento porque procesa la imagen en múltiples etapas, lo que dificulta las aplicaciones en tiempo real.

Por su parte, modelos como Ultralytics YOLO11 procesan las imágenes de una sola pasada, prediciendo simultáneamente las cajas delimitadoras de los objetos y las máscaras de segmentación de instancias. Este enfoque optimizado lo hace mucho más rápido sin dejar de mantener una gran precisión. Como resultado, es especialmente útil para aplicaciones en tiempo real como la conducción autónoma, el análisis de vídeo y la robótica, donde tanto la velocidad como la precisión son fundamentales.

Entrenamiento personalizado de Ultralytics YOLO11 para la segmentación de instancias#

Desde el primer momento, YOLO11 viene como un modelo preentrenado. Ha sido entrenado con el COCO-Seg dataset, que cubre objetos cotidianos para la segmentación de instancias. Sin embargo, el paquete Python de Ultralytics admite el entrenamiento personalizado, lo cual es esencial para aplicaciones especializadas donde se necesitan segmentar objetos únicos.

¿Por qué es importante el entrenamiento personalizado o el ajuste fino de un modelo? El Custom training aprovecha el aprendizaje por transferencia basándose en el conocimiento ya integrado en los modelos preentrenados. En lugar de empezar desde cero, adapta un modelo existente a nuevas tareas utilizando conjuntos de datos más pequeños y menos recursos informáticos, todo ello manteniendo una alta precisión.

Cómo entrenar de forma personalizada Ultralytics YOLO11#

Aquí tienes un análisis más detallado de los pasos necesarios para ajustar Ultralytics YOLO11 para la segmentación de instancias:

• Preparación de datos: Recopila y etiqueta imágenes según tu aplicación específica. Ultralytics ofrece compatibilidad con múltiples image datasets, pero también puedes entrenar utilizando tu propio conjunto de datos preparando las imágenes y las etiquetas en el formato YOLO requerido.
• Uso de un modelo preentrenado: en lugar de empezar desde cero, utiliza un modelo Ultralytics YOLO11 preentrenado.
• Entrenamiento del modelo: ajusta los parámetros vitales del entrenamiento, como el tamaño del lote (imágenes procesadas por iteración), el tamaño de la imagen (resolución de entrada objetivo) y las épocas (ciclos totales de entrenamiento), y entrena el modelo.
• Evaluación del rendimiento: una vez completado el entrenamiento del modelo, puedes probar la precisión del modelo utilizando métricas de rendimiento como el mAP. El paquete de Python de Ultralytics también proporciona funciones integradas para la evaluación de modelos.

Aplicaciones de segmentación de instancias habilitadas por Ultralytics YOLO11#

La segmentación de instancias se puede utilizar para resolver desafíos del mundo real ayudando a las máquinas a ver y comprender los objetos con mayor precisión. Desde mejorar la automatización hasta proteger el medio ambiente, desempeña un papel clave en muchos campos. Repasemos algunos ejemplos de dónde está generando un impacto.

Seguridad y supervisión en obras de construcción mediante Ultralytics YOLO11#

La segmentación de instancias puede ser una parte fundamental para garantizar la seguridad y la eficiencia en las obras de construcción. Por ejemplo, se puede utilizar para controlar maquinaria pesada.

Ultralytics YOLO11 se puede ajustar para segmentar e identificar con precisión diferentes tipos de equipos, como grúas, excavadoras y bulldozers, y rastrear sus posiciones en tiempo real. Esto permite a los jefes de obra asegurarse de que la maquinaria opera estrictamente dentro de las áreas designadas y no invade zonas donde hay trabajadores presentes o existen peligros.

Además, integrar dichas soluciones con sistemas de alerta en tiempo real permite tomar medidas correctivas rápidamente. Más allá de esto, la información recopilada puede ayudar a optimizar el diseño y el flujo de trabajo de la obra, reduciendo aún más los riesgos y aumentando la productividad.

Fig 5. Supervisión de maquinaria pesada mediante Ultralytics YOLO11.

Supervisión de animales con segmentación y Ultralytics YOLO11#

El Animal behavior monitoring ayuda a investigadores, agricultores y conservacionistas a cuidar mejor de los animales en diferentes entornos. La segmentación de instancias desempeña un papel útil en estos sistemas al identificar y segmentar animales individuales en granjas, zoológicos y hábitats naturales. A diferencia de la detección de objetos tradicional que utiliza cuadros delimitadores, la segmentación de instancias proporciona una delimitación a nivel de píxel de cada animal, lo que resulta especialmente útil cuando los animales están muy cerca unos de otros.

La segmentación detallada facilita un seguimiento más preciso de los movimientos y comportamientos. Los animales superpuestos o agrupados estrechamente pueden reconocerse de forma diferenciada y proporcionar un análisis más preciso de las interacciones, las evaluaciones de salud y los patrones de actividad. En general, una visión más profunda del comportamiento animal mejora el cuidado de los animales y las prácticas de gestión.

Fig 6. Monitoreo de ganado utilizando la segmentación de instancias.

Ultralytics YOLO11 en la analítica deportiva y el seguimiento de jugadores#

El seguimiento preciso de jugadores y eventos es una parte enorme del análisis deportivo. Los métodos de seguimiento tradicionales se basan en el etiquetado manual, que puede no capturar interacciones detalladas. La visión artificial puede utilizarse para segmentar detalles como cada jugador, el balón y los eventos clave a nivel de píxel para obtener información detallada.

Por ejemplo, la segmentación de instancias puede ayudar a detectar eventos como faltas o incidentes sin balón al separar claramente a cada jugador y objeto. Esta supervisión detallada facilitada por modelos como Ultralytics YOLO11 ofrece a los analistas información más clara para estudiar los patrones de movimiento, el posicionamiento espacial y las interacciones con gran precisión. Un beneficio clave de estos datos es que ayudan a los equipos a perfeccionar sus estrategias y mejorar su rendimiento general.

Ventajas y desventajas de la segmentación de instancias#

Aquí tienes algunos de los beneficios clave que la segmentación de instancias puede aportar a diversos sectores:

• Automatización mejorada: Al automatizar tareas como el control de calidad y la supervisión de la seguridad, la segmentación de instancias reduce la necesidad de intervención manual y minimiza el error humano.
• Mejor comprensión de la escena: Al perfilar con precisión cada objeto, la segmentación de instancias contribuye a una comprensión más profunda de las escenas complejas, apoyando una toma de decisiones más informada.
• Postprocesamiento eficiente: La salida a nivel de píxel simplifica tareas como la eliminación de fondo, el recuento de objetos y el análisis espacial, lo que reduce la necesidad de pasos de procesamiento adicionales.

Aunque estos beneficios destacan cómo la segmentación de instancias impacta en diferentes casos de uso, también es fundamental considerar los desafíos que conlleva su implementación.

Aquí tienes algunas de las limitaciones clave de la segmentación de instancias:

• Desafíos con la transparencia: Segmentar objetos transparentes o reflectantes como el cristal y el agua es difícil, lo que genera límites imprecisos.
• Gastos generales de mantenimiento: Para mantener los modelos precisos y relevantes, es necesario realizar actualizaciones y ajustes continuos a medida que cambian las condiciones ambientales y los conjuntos de datos.
• Alto esfuerzo de anotación: El entrenamiento de modelos de segmentación de instancias requiere anotaciones detalladas a nivel de píxel, lo que aumenta significativamente el tiempo y el coste que implica la preparación de los datos.

Conclusiones clave#

La segmentación de instancias hace posible distinguir objetos individuales con precisión, incluso cuando se superponen. Al capturar los límites de los objetos a nivel de píxel, proporciona una comprensión más profunda de los datos visuales en comparación con las tareas de visión artificial tradicionales, como la detección de objetos.

Los recientes avances en visión artificial han hecho que la segmentación de instancias sea más rápida y fácil de usar. En particular, modelos de visión artificial como Ultralytics YOLO11 simplifican el proceso, permitiendo una segmentación en tiempo real con una configuración mínima, lo que lo hace más accesible para diversos sectores y aplicaciones.

¿Tienes curiosidad por la IA? Visita our GitHub repository y conéctate con our community para seguir explorando. Conoce innovaciones como AI in self-driving cars y vision AI in agriculture en nuestras páginas de soluciones. ¡Consulta our licensing options y comienza un proyecto de visión artificial!