Entender por qué la anotación con humanos en el bucle es clave

Hace veinte años, si alguien decía que estaba pensando en conseguir un robot para que ayudara en casa, habría sonado a algo realmente descabellado. Sin embargo, estamos inmersos en el auge de la IA y se están probando robots en escenarios similares.

Un campo clave de la IA que impulsa este progreso es la visión artificial, que dota a las máquinas de la capacidad de entender imágenes y vídeos. En otras palabras, modelos de visión artificial como Ultralytics YOLO11 y el próximo Ultralytics YOLO26 pueden entrenarse con conjuntos de datos que consisten en datos visuales y anotaciones.

Estas anotaciones ayudan al modelo a entender los datos visuales. Por ejemplo, los conjuntos de datos de detección de objetos utilizan cuadros delimitadores para dibujar rectángulos alrededor de los objetos de interés. Esto permite al modelo detectar y localizar esos objetos en imágenes nuevas, incluso cuando la escena está abarrotada o el objeto está parcialmente oculto.

Otras tareas de visión artificial dependen de diferentes tipos de anotaciones. Los conjuntos de datos de segmentación etiquetan el contorno exacto de un objeto a nivel de píxel, mientras que los conjuntos de datos de puntos clave marcan hitos específicos como las articulaciones de una persona.

Sin embargo, en todos estos formatos, un factor crucial es la calidad y la coherencia de las etiquetas. Los modelos aprenden directamente de los datos con los que se entrenan, por lo que si las etiquetas son incoherentes o erróneas, el modelo a menudo trasladará esos errores a sus predicciones.

Incluso con la automatización, los conjuntos de datos anotados por humanos siguen siendo cruciales, especialmente en áreas de alto riesgo como la imágenes médicas. Pequeños errores de etiquetado, como un borde de tumor impreciso o una anomalía pasada por alto, pueden enseñar al modelo el patrón equivocado y llevar a predicciones inseguras más adelante. Los expertos humanos proporcionan la verdad fundamental y el criterio precisos que requieren estas aplicaciones.

Fig 1. Existe una necesidad de conjuntos de datos anotados por humanos. Imagen del autor.

En este artículo, analizaremos más de cerca por qué los datos anotados por humanos son esenciales, incluso a medida que la IA sigue avanzando.

Link to this sectionLa necesidad de la anotación de imágenes y vídeos#

Los modelos de visión artificial aprenden mucho como nosotros: viendo muchos ejemplos. La diferencia es que aprenden mediante el entrenamiento con grandes conjuntos de datos de imágenes y vídeos que los humanos etiquetan de antemano. Esas etiquetas actúan como verdad fundamental, enseñando al modelo cosas como: esto es un peatón, aquí está el límite de un tumor o ese objeto es un coche.

Las imágenes del mundo real rara vez son limpias o coherentes. La iluminación puede cambiar y hacer que el mismo objeto parezca diferente. Las personas y los vehículos pueden solaparse o estar parcialmente ocultos. Los fondos pueden estar abarrotados y ser una distracción. Cuando los conjuntos de datos incluyen etiquetas cuidadosas y coherentes en estas situaciones, los modelos están mucho mejor preparados para lo que se encontrarán fuera de entornos controlados.

La anotación de datos también es algo más que dibujar cuadros o trazar contornos. Implica aplicar directrices y tomar decisiones prácticas sobre qué cuenta como objeto, dónde debe estar su límite y qué hacer cuando algo no está claro. Ese criterio humano mantiene los datos precisos y utilizables.

Al final, un sistema de visión artificial funciona tan bien como los datos etiquetados de los que aprende. En aplicaciones de gran impacto como la detección de cáncer en escáneres o la detección de riesgos en la carretera para coches autónomos, las etiquetas precisas realizadas por personas cualificadas marcan una verdadera diferencia en cuanto a precisión y seguridad.

Link to this sectionEl auge de la automatización en la anotación de datos#

A medida que la visión artificial escala y los conjuntos de datos crecen, la automatización se está convirtiendo en una forma común de acelerar la anotación. En lugar de etiquetar todo a mano, los equipos utilizan modelos de IA para realizar una primera pasada de etiquetas.

Los humanos revisan entonces los resultados, corrigen los errores y gestionan los casos que el modelo no puede etiquetar con confianza. Este enfoque acelera la anotación mientras mantiene la calidad alta.

Aquí tienes algunas formas en las que la automatización suele ayudar con la anotación de datos:

• Auto-segmentación: Los modelos pueden sugerir automáticamente contornos de objetos o máscaras a nivel de píxel, lo que reduce la cantidad de trazado manual que necesitan hacer los anotadores.
• Seguimiento de flujo óptico: Cuando se trata de vídeos, los métodos de seguimiento pueden seguir a un objeto en movimiento a través de los fotogramas y arrastrar su etiqueta, ayudando a mantener la coherencia de las anotaciones a lo largo del tiempo.
• Interpolación de fotogramas: Las herramientas pueden rellenar etiquetas para los fotogramas entre dos fotogramas etiquetados utilizando pistas de movimiento y seguimiento, para que los anotadores no tengan que etiquetar cada fotograma individualmente.
• Aprendizaje activo: Los flujos de trabajo de entrenamiento pueden identificar ejemplos que el modelo encuentra inciertos o inusuales y enviarlos primero a humanos, de modo que el esfuerzo manual se dirija a los datos que mejoran el rendimiento.

Link to this sectionPor qué la anotación de datos humana sigue siendo tan crucial#

Aunque la automatización puede acelerar el etiquetado, los modelos de IA siguen necesitando el criterio humano para seguir siendo precisos y fiables.

Aquí tienes algunas áreas clave donde la experiencia humana tiene un impacto en la anotación de datos:

• Entender el contexto: Las imágenes y vídeos reales suelen ser complejos. Las sombras, los reflejos, el desenfoque por movimiento y los objetos superpuestos pueden confundir a las herramientas automatizadas. Los anotadores humanos pueden interpretar lo que realmente está ocurriendo, por lo que las etiquetas son más precisas.
• Mantener la coherencia de las etiquetas: A medida que los conjuntos de datos crecen, las etiquetas automatizadas pueden desviarse o variar entre lotes. Los humanos pueden auditar, corregir y alinear las etiquetas para que el conjunto de datos sea coherente de principio a fin.
• Reducir el sesgo y los daños: Las personas son mejores detectando contenido sensible, matices culturales y patrones que podrían introducir sesgos. Su supervisión ayuda a hacer que los conjuntos de datos sean más justos y evita daños imprevistos.
• Aplicar la experiencia en la materia: Algunas tareas requieren conocimientos de dominio, como la identificación de anomalías médicas o defectos industriales. Los expertos pueden proporcionar etiquetas precisas y resolver casos ambiguos para que el modelo aprenda los detalles correctos.

Link to this sectionUna visión general de la anotación con intervención humana#

Las herramientas y plataformas de anotación como Roboflow integran la automatización para acelerar el etiquetado, a menudo mediante el uso de modelos base como Segment Anything Model 3 o SAM3. SAM3 es el modelo base de segmentación con prompts de Meta AI.

Puede detectar, segmentar y seguir objetos en imágenes y vídeos a partir de simples instrucciones como clics, cuadros delimitadores o frases de texto cortas, produciendo máscaras de segmentación para los objetos correspondientes sin necesidad de entrenamiento específico para cada nueva categoría.

Incluso con estos enfoques de vanguardia, siguen siendo necesarios expertos humanos para revisar y finalizar las anotaciones. Cuando las herramientas automatizadas producen un primer borrador, y los humanos lo verifican, corrigen y refinan, el flujo de trabajo se conoce como anotación con intervención humana. Esto mantiene la anotación rápida a la vez que garantiza que las etiquetas finales sean lo suficientemente precisas y coherentes para entrenar modelos fiables.

Fig 2. Un vistazo a la anotación con intervención humana. (Fuente)

Link to this sectionCuándo funciona la automatización para la anotación y cuándo no#

La anotación automatizada funciona mejor para los datos que provienen de lugares controlados. Las imágenes recopiladas en fábricas, almacenes o pasillos comerciales suelen tener una iluminación estable y vistas claras de los objetos, por lo que las herramientas automatizadas pueden etiquetarlas con precisión y ayudar a los equipos a escalar más rápido con menos trabajo manual.

Los datos de lugares menos controlados son más complejos. Las imágenes de exteriores cambian con la hora del día y el clima, y las escenas de calles u hogares suelen incluir desorden, desenfoque por movimiento, objetos que se bloquean entre sí y muchos solapamientos. Los objetos pequeños, los límites finos o las situaciones raras añaden aún más margen de error. Un modelo que funciona bien con datos interiores limpios puede tener problemas con imágenes desordenadas del mundo real.

Por eso la intervención humana sigue siendo importante. Las personas pueden intervenir cuando el modelo no está seguro, interpretar contextos complicados y corregir errores antes de que terminen en el conjunto de datos final. La anotación con intervención humana ayuda a que la automatización se mantenga basada en condiciones del mundo real y mantiene los modelos fiables tras su despliegue.

Link to this section¿Dónde puede marcar la diferencia la anotación con intervención humana?#

Ahora que hemos visto dónde funciona bien la automatización y dónde se queda corta, exploremos algunas aplicaciones donde la anotación con intervención humana desempeña un papel importante.

Link to this sectionDetección de defectos en la fabricación#

Imagina una cinta transportadora de una fábrica donde cientos de piezas pasan bajo una cámara cada minuto. La mayoría de los defectos son obvios, pero de vez en cuando aparece una grieta fina en un ángulo extraño o bajo el resplandor de una luz. Un sistema automatizado podría no verlo o etiquetarlo como una textura superficial inofensiva, pero un revisor humano puede detectar el fallo, corregir la anotación y asegurarse de que el modelo aprenda la diferencia.

Ese es el papel de la anotación con intervención humana en la inspección industrial. La automatización puede preetiquetar tipos de defectos comunes y acelerar el procesamiento de grandes volúmenes de imágenes, pero los humanos siguen necesitando verificar los resultados, ajustar los límites y gestionar fallos raros que no aparecen a menudo en el entrenamiento.

Link to this sectionVehículos autónomos y transporte inteligente#

Del mismo modo, los vehículos autónomos utilizan la visión artificial para detectar peatones, leer señales y navegar por el tráfico, pero las carreteras reales son impredecibles. Por ejemplo, un peatón que sale de detrás de un coche aparcado por la noche puede quedar parcialmente oculto y ser difícil de ver bajo el resplandor.

Fig 3. Un ejemplo del uso de la visión artificial para analizar el tráfico. (Fuente)

Los anotadores humanos pueden etiquetar estos casos límite raros y críticos para la seguridad durante el entrenamiento para que los modelos aprendan la respuesta correcta, no solo en condiciones normales, sino en los momentos que más importan. Este paso con intervención humana es clave para enseñar a los sistemas a gestionar eventos de baja frecuencia que son difíciles de capturar solo con la automatización.

Link to this sectionEl futuro de los conjuntos de datos anotados por humanos#

La anotación con intervención humana es cada vez más colaborativa a medida que avanza la tecnología. Curiosamente, los modelos de lenguaje visual (VLM), que aprenden tanto de imágenes como de texto, se están utilizando ahora para crear una primera pasada de etiquetas y sugerir correcciones a partir de instrucciones simples.

Así que, en lugar de escanear manualmente cada imagen para decidir qué etiquetar, un anotador puede pedir a un VLM con una frase como “etiqueta todos los peatones, coches y semáforos” o “segmenta todos los defectos de esta pieza”, y obtener un conjunto de borradores de anotaciones para revisar.

Fig 4. Los grandes modelos multimodales pueden trabajar con anotadores humanos (Fuente)

Esto reduce el tiempo de anotación porque el modelo puede gestionar muchos casos sencillos de antemano, de modo que los humanos pueden centrarse en revisar los resultados, corregir ejemplos complicados y mantener la coherencia del conjunto de datos. Los grandes modelos multimodales también están empezando a guiar a los anotadores hacia las muestras más inciertas, haciendo que el esfuerzo humano sea más específico y mejorando la calidad general del conjunto de datos.

Link to this sectionConclusiones clave#

La visión artificial ayuda a las máquinas a interpretar y reaccionar ante lo que ven, pero funciona mejor con la experiencia humana en el proceso. Los datos anotados por humanos mantienen los modelos basados en condiciones del mundo real y mejoran la fiabilidad de su rendimiento. Con la automatización y el criterio humano trabajando mano a mano, los equipos pueden crear sistemas de visión impactantes.

Únete a nuestra activa comunidad y explora innovaciones como la IA en logística y la IA de visión en robótica. Visita nuestro repositorio de GitHub para descubrir más. Para empezar con la visión artificial hoy mismo, consulta nuestras opciones de licencia.