Cómo la Ultralytics Platform utiliza IA para automatizar la anotación

Las soluciones de computer vision que analizan imágenes y vídeos se están convirtiendo en una parte habitual de los flujos de trabajo en muchos sectores, desde la fabricación hasta el diagnóstico por imagen médico. En la fabricación, por ejemplo, la detección de defectos superficiales en productos que se desplazan por una cinta transportadora depende de modelos de computer vision capaces de detectar patrones sutiles.

Para que estos modelos funcionen bien, deben ser entrenados con datos etiquetados donde cada defecto esté claramente identificado. Esto permite a estos modelos aprender qué buscar y reconocer patrones similares.

El proceso de creación de estas etiquetas se denomina anotación de datos. En concreto, la anotación de imágenes y la anotación de vídeo implican dibujar bounding boxes, perfilar formas o etiquetar regiones específicas dentro de imágenes y fotogramas de vídeo.

Aunque esto es manejable para datasets pequeños, se vuelve difícil de gestionar a medida que crecen los datos. Etiquetar miles de imágenes requiere un esfuerzo manual constante, lo que convierte a la anotación en un cuello de botella importante. Las herramientas tradicionales suelen ser lentas, fragmentadas y difíciles de escalar.

Ultralytics Platform, la plataforma de visión IA todo en uno, ayuda a resolver estos retos con la anotación asistida por IA. Al utilizar IA para generar automáticamente etiquetas iniciales que pueden ser revisadas y refinadas rápidamente, se reduce el esfuerzo manual y se mejora la eficiencia.

En este artículo, exploraremos cómo funciona la anotación asistida por IA dentro de Ultralytics Platform y cómo mejora el proceso de etiquetado. ¡Empecemos!

Link to this sectionUna visión general del proceso de anotación de datos#

Antes de sumergirnos en cómo funciona la anotación impulsada por IA en Ultralytics Platform, echemos primero un vistazo más detallado a la anotación de datos.

La anotación de datos, también conocida como etiquetado de datos, es el proceso de asignar etiquetas estructuradas a datos sin procesar para que puedan utilizarse en el entrenamiento de modelos de machine learning. En computer vision, estas etiquetas definen los objetos, regiones o características de interés dentro de imágenes o vídeos.

Durante el entrenamiento, los modelos o algoritmos aprenden a asignar datos de entrada a estas etiquetas, lo que convierte la calidad de la anotación en un factor clave para el rendimiento del modelo. Los datasets etiquetados de forma precisa y coherente permiten al modelo aprender los patrones correctos, mientras que unas anotaciones pobres o incoherentes pueden derivar en predicciones poco fiables.

Por ejemplo, en un caso de uso de detección de defectos, una imagen de un producto en una cinta transportadora puede ser anotada marcando dónde aparecen los defectos y etiquetando qué tipo de defecto son. Esto ayuda al modelo a aprender qué aspecto tienen los defectos para que pueda identificarlos en nuevas imágenes.

Link to this sectionUn vistazo a las tareas de anotación comunes#

A continuación, veamos algunas formas comunes en las que se anotan las imágenes en computer vision. Estos métodos se utilizan para etiquetar datos visuales para tareas como object detection, instance segmentation e image classification. Cada método de anotación cumple una función diferente, como localizar objetos, capturar formas o identificar estructuras clave.

Link to this sectionBBox#

Las bounding boxes son rectángulos simples dibujados alrededor de los objetos en una imagen para mostrar dónde están. Son una de las formas más comunes de etiquetar datos en computer vision.

Al entrenar con imágenes que contienen estas cajas, los modelos de object detection aprenden a reconocer diferentes objetos y a entender su ubicación dentro de una imagen. Esto les permite detectar múltiples objetos a la vez e identificar dónde aparece cada uno.

Por ejemplo, considera un partido de béisbol analizado mediante computer vision. Se pueden dibujar cajas alrededor de los jugadores, el bate y la pelota en cada fotograma, permitiendo que el modelo detecte e identifique estos objetos a lo largo del juego.

Fig 1. Las bounding boxes pueden utilizarse para etiquetar y localizar múltiples objetos. (Fuente)

Link to this sectionPolígonos o máscaras de segmentación#

Los polígonos, también conocidos como máscaras de segmentación, van un paso más allá de las bounding boxes al etiquetar objetos a nivel de píxel. En lugar de dibujar un rectángulo aproximado, capturan la forma exacta y los bordes de cada objeto en una imagen. Esto los hace útiles para tareas que requieren una comprensión más detallada.

Por ejemplo, en la conducción autónoma, las máscaras de segmentación se utilizan en tareas como la semantic segmentation, donde a cada píxel se le asigna una categoría como carretera o cielo, y la instance segmentation, donde objetos individuales como vehículos o peatones se identifican por separado.

También se utilizan para tareas como la eliminación de fondo, donde un objeto, como una persona, necesita ser aislado del resto de la imagen.

Link to this sectionKeypoints#

Los keypoints se utilizan para marcar puntos específicos en un objeto, como articulaciones en el cuerpo humano o partes de un animal. Al identificar estos puntos, los modelos pueden comprender la estructura de un objeto y cómo están posicionadas sus partes en relación con las demás.

En computer vision, esto se conoce como pose estimation, donde el objetivo es identificar la ubicación de estos keypoints y entender cómo se relacionan entre sí. El seguimiento de estos puntos a lo largo del tiempo permite analizar el movimiento y los cambios en la postura.

Fig 2. Las anotaciones de keypoints pueden utilizarse para marcar articulaciones para pose estimation humana. (Fuente)

Un ejemplo común es marcar las articulaciones corporales en un vídeo para analizar el movimiento humano. Al centrarse en estos puntos clave, los modelos pueden capturar cómo está posicionada una persona y cómo cambia su postura con el paso del tiempo.

Link to this sectionBounding box orientada (OBB)#

No todos los objetos en una imagen están perfectamente alineados. En muchos escenarios del mundo real, los objetos aparecen inclinados, rotados o se ven desde diferentes ángulos.

Las bounding boxes estándar a menudo tienen dificultades en estos casos, ya que pueden incluir fondo innecesario o no ajustarse bien al objeto. Las oriented bounding boxes resuelven esto utilizando rectángulos rotados que se alinean con la dirección del objeto. Esto resulta en anotaciones más ajustadas y precisas.

Este enfoque se utiliza en la detección de oriented bounding box (OBB), donde los modelos identifican tanto la ubicación de un objeto como su orientación. Un ejemplo es la fotografía aérea, donde objetos como edificios, barcos o vehículos suelen aparecer en diferentes ángulos. Los rectángulos rotados facilitan la captura de su forma y dirección reales dentro de la escena.

Link to this sectionEtiquetas de clasificación#

Las etiquetas de clasificación adoptan un enfoque diferente al de otros métodos de anotación al asignar una etiqueta única a toda una imagen, en lugar de marcar objetos o regiones específicos. Se utilizan cuando el objetivo es identificar qué hay presente en una imagen, sin centrarse en dónde aparece.

Por ejemplo, una imagen puede ser etiquetada como “gato” o “perro” basándose en su contenido general. Esto hace que la image classification sea útil para tareas donde basta con una comprensión de alto nivel de la imagen.

Link to this sectionLimitaciones de las herramientas de anotación tradicionales#

Muchas herramientas de etiquetado tradicionales dependen de múltiples pasos y flujos de trabajo desconectados. Los equipos de desarrollo de IA a menudo tienen que cambiar entre plataformas de anotación para el etiquetado, almacenamiento y validación, lo cual ralentiza los proyectos de IA.

La mayoría de las herramientas solo admiten un conjunto limitado de tipos de anotación y tipos de datos, por lo que los equipos terminan usando herramientas diferentes para bounding boxes, segmentación y keypoints. Esta configuración fragmentada puede ser difícil de gestionar, especialmente para equipos nuevos en computer vision.

El esfuerzo manual es otro desafío importante. Aunque anotar una sola imagen puede llevar solo unos minutos, trabajar con datasets grandes se vuelve rápidamente una pérdida de tiempo, especialmente cuando imágenes similares implican tareas repetitivas.

A medida que crecen los datasets, los equipos tienen que gestionar archivos, realizar un seguimiento de las versiones de los datasets y mantener la coherencia entre las anotaciones. Esto aumenta la carga de trabajo, dedicando más tiempo a gestionar datos y menos a mejorar el rendimiento del modelo.

Un enfoque más eficiente consiste en utilizar la anotación asistida por IA dentro de Ultralytics Platform, que emplea IA para generar y refinar etiquetas, reduciendo el esfuerzo manual y mejorando la velocidad y la coherencia, todo ello dentro de un entorno único que integra la gestión de datasets, la anotación, el entrenamiento de modelos, el despliegue y la supervisión.

Link to this sectionCómo facilita Ultralytics Platform el proceso de anotación#

Ultralytics Platform simplifica la anotación conectándola directamente con el resto del flujo de trabajo de computer vision. En lugar de depender de herramientas separadas, los equipos pueden trabajar con datos, anotaciones y modelos en un único entorno.

Es compatible con una serie de tareas de computer vision, incluyendo object detection, image classification, instance segmentation, pose estimation y detección de oriented bounding box.

Dentro de esta configuración, la anotación puede realizarse de varias formas. Los equipos pueden etiquetar datos manualmente para un control total, utilizar la smart annotation basada en SAM para un etiquetado interactivo basado en puntos, o aplicar la smart annotation basada en YOLO para generar anotaciones automáticamente que luego pueden revisarse y refinarse. Esta flexibilidad facilita el trabajo con diferentes datasets y requisitos de anotación.

Fig 3. Un vistazo a la anotación dentro de Ultralytics Platform (Fuente)

Dado que la anotación manual y asistida por IA está integrada con la gestión de datasets y el entrenamiento de modelos, los equipos pueden pasar sin problemas del etiquetado de datos a la organización de datasets y el entrenamiento de modelos. Esto mantiene los flujos de trabajo estructurados y elimina la necesidad de cambiar entre herramientas o reformatear anotaciones.

La plataforma también es compatible con modelos Ultralytics YOLO como Ultralytics YOLO11 y Ultralytics YOLO26, permitiendo utilizar los datos anotados directamente para entrenamiento y pruebas. Esto facilita la identificación de brechas en los datasets, refinar anotaciones y reentrenar modelos mediante una iteración continua.

Link to this sectionCaracterísticas clave de la smart annotation SAM en Ultralytics Platform#

La smart annotation basada en SAM en Ultralytics Platform está diseñada para acelerar la anotación para tareas de object detection, instance segmentation y oriented bounding box (OBB).

La plataforma proporciona múltiples variantes de modelos SAM, incluyendo SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large y SAM 3, ofreciendo a los usuarios la opción de elegir entre velocidad y precisión.

Fig 4. Smart annotation basada en SAM en Ultralytics Platform (Fuente)

Los modelos más pequeños, como Tiny y Small, son más rápidos y adecuados para flujos de trabajo de anotación rápida, mientras que los modelos más grandes como Large y SAM 3 ofrecen una mayor precisión para escenas más complejas. Cambiar entre modelos actualiza el comportamiento de la anotación inmediatamente.

Dentro del editor de anotaciones, una vez seleccionado un modelo SAM, los anotadores humanos pueden entrar en modo Inteligente (Smart mode) para comenzar a etiquetar. En lugar de dibujar formas manualmente, el modelo se guía mediante entradas sencillas basadas en puntos.

Un clic izquierdo añade un punto positivo para incluir una región, mientras que un clic derecho añade un punto negativo para excluir áreas no deseadas. Basándose en estas entradas, el modelo genera una máscara precisa en tiempo real.

Para acelerar el flujo de trabajo, se puede activar el modo de auto-aplicación. Cuando está activo, cada clic genera y guarda automáticamente una anotación sin necesidad de confirmación manual. Para objetos más complejos, los anotadores pueden mantener pulsado "Shift" para colocar varios puntos antes de aplicar la máscara o desactivar la auto-aplicación para añadir puntos libremente y luego presionar "Enter" para aplicar la máscara.

Link to this sectionEntendiendo la smart annotation YOLO en Ultralytics Platform#

Similar a la smart annotation basada en SAM, la smart annotation YOLO en Ultralytics Platform utiliza IA para acelerar el proceso de etiquetado. En lugar de guiar al modelo con clics, utiliza las predicciones del modelo para generar anotaciones automáticamente.

Este enfoque es compatible con tareas como object detection, instance segmentation y anotación de oriented bounding box (OBB). Funciona específicamente con modelos Ultralytics YOLO, incluyendo modelos preentrenados proporcionados por Ultralytics y modelos YOLO entrenados a medida.

Dentro del editor de anotaciones, los anotadores pueden entrar en modo Inteligente (Smart mode), seleccionar un modelo YOLO desde el selector de modelos y hacer clic en Predecir. El selector de modelos solo muestra los modelos YOLO que coinciden con la tarea actual del dataset, asegurando que las anotaciones generadas sean compatibles.

El modelo analiza la imagen y genera anotaciones basadas en sus predicciones, que luego se añaden directamente a la imagen. Si las predicciones se solapan con los resultados de anotación existentes de la misma clase, las detecciones duplicadas se omiten automáticamente cuando el solapamiento supera un umbral establecido, ayudando a mantener etiquetas limpias y coherentes.

Fig 5. Smart annotation habilitada por modelos Ultralytics YOLO en Ultralytics Platform (Fuente)

Una vez generadas las predicciones, los anotadores humanos pueden revisarlas, ajustarlas o eliminarlas según sea necesario. Esto facilita el etiquetado rápido de grandes datasets comenzando con anotaciones generadas por el modelo y refinándolas en lugar de anotar todo manualmente.

Con el tiempo, se pueden reutilizar modelos YOLO mejorados para generar mejores predicciones, apoyando un flujo de trabajo de auto-etiquetado iterativo.

Link to this sectionAplicando el etiquetado asistido por IA en pipelines del mundo real#

A continuación, recorramos ejemplos de cómo Ultralytics Platform facilita la anotación de datos en casos de uso reales.

Link to this sectionSegmentación en conducción autónoma#

Los vehículos autónomos integrados con modelos de computer vision dependen de datos visuales bien anotados para comprender su entorno en tiempo real. Los modelos entrenados con estos datos pueden detectar y segmentar vehículos, peatones, señales de tráfico y límites de la carretera.

Las tareas de segmentación requieren límites precisos a nivel de píxel, lo que hace que la anotación sea crítica y lenta. Etiquetar manualmente grandes volúmenes de datos de sensores puede convertirse rápidamente en un cuello de botella, especialmente en escenas de conducción complejas.

Ultralytics Platform agiliza este proceso con la anotación asistida por IA utilizando modelos SAM y YOLO. La smart annotation basada en SAM permite una segmentación rápida basada en clics con máscaras precisas, mientras que los modelos YOLO pueden utilizarse para generar anotaciones automáticamente en las imágenes.

Juntos, estos enfoques facilitan el manejo de escenas complejas con objetos superpuestos.

Debido a que la anotación está conectada directamente con el entrenamiento de modelos, los datasets a gran escala actualizados pueden utilizarse inmediatamente para reentrenar y evaluar modelos. Esto permite a los equipos mejorar continuamente el rendimiento y adaptarse a nuevas condiciones de conducción de manera más eficiente.

Link to this sectionMejora de los sistemas de garantía de calidad en la fabricación#

En la fabricación, mantener un control de calidad coherente depende de la detección precisa de defectos durante la producción. Los modelos de computer vision se utilizan a menudo para identificar problemas en tiempo real, pero su rendimiento depende de qué tan bien reflejen los datos de entrenamiento las condiciones de producción reales.

Los cambios en los entornos de fabricación, como las variaciones en las materias primas, los ajustes de la maquinaria o la iluminación, pueden introducir tipos de defectos nuevos y poco frecuentes que no formaban parte de los datos de entrenamiento originales. Esto crea una brecha entre lo que el modelo ha aprendido y lo que aparece en la línea de producción.

Para mantenerse alineados, los datasets necesitan actualizarse periódicamente con anotaciones internas de alta calidad. Ultralytics Platform facilita la actualización de anotaciones y la ampliación de datasets a medida que surgen nuevos patrones de defectos. Estos datasets actualizados pueden utilizarse para reentrenar modelos, ayudando a los equipos a adaptarse más rápidamente a las condiciones de producción cambiantes.

Link to this sectionMonitorización del sitio y seguridad en la construcción#

Las obras de construcción son entornos dinámicos, con múltiples equipos, equipos en movimiento y diseños en constante cambio. Mantener la seguridad en estas condiciones depende de datos visuales claros y bien anotados.

Las anotaciones precisas pueden impulsar la calidad de los datos y ayudar a los sistemas de IA a identificar trabajadores, equipo, equipos de seguridad y riesgos potenciales en una variedad de condiciones de obra, incluyendo escenas concurridas, fondos cambiantes e iluminación variable.

Ultralytics Platform apoya esto facilitando la actualización y el refinamiento de anotaciones a medida que evolucionan las condiciones del sitio. Se pueden capturar nuevas imágenes y añadirlas al dataset a medida que aparecen, manteniéndolo alineado con los escenarios del mundo real.

Link to this sectionConclusiones clave#

La anotación de alta calidad es esencial para construir modelos de IA y computer vision fiables, pero los flujos de trabajo tradicionales a menudo ralentizan a los equipos. Ultralytics Platform agiliza este proceso con herramientas de anotación automatizadas y un flujo de trabajo escalable. Como resultado, los equipos pueden avanzar más rápido de los datos al modelo mientras mantienen la precisión y la coherencia.

Echa un vistazo a nuestra creciente comunidad y repositorio de GitHub para aprender más sobre computer vision. Si buscas construir soluciones de visión, echa un vistazo a nuestras opciones de licencia. Explora nuestras páginas de soluciones para conocer más sobre los beneficios de la computer vision en la fabricación y la IA en el sector sanitario.