Data Flywheel

Un volante de datos es un ciclo que se refuerza a sí mismo, en el que un modelo de IA desplegado genera datos —incluidas sus entradas, predicciones, errores y comentarios de los usuarios— que se seleccionan para crear mejores datos de entrenamiento para la siguiente versión. Cada lanzamiento resuelve correctamente más casos, un producto mejor atrae más uso y un mayor uso genera más datos de los que necesita el siguiente lanzamiento. El nombre procede del volante mecánico, que requiere esfuerzo para empezar a girar y después almacena impulso.

En visión artificial, el ciclo se centra en los casos difíciles: los fotogramas en los que un detector no detectó un objeto, generó una falsa alarma o tuvo una confianza baja. Un sistema de inspección visual se encuentra con materiales nuevos y reflejos tras su lanzamiento, y un modelo de inventario minorista se encuentra con envases de temporada, así que esas son las imágenes que merece la pena etiquetar. El equipo de Autopilot de Tesla presentó una versión conocida de este proceso, a la que llamó motor de datos, en el Autonomy Day de 2019: los casos en los que la red funcionaba mal se extraían de la flota, se etiquetaban y se añadían al entrenamiento. Los productos basados en modelos de lenguaje grandes siguen el mismo ciclo con valoraciones, ediciones y conversaciones, que alimentan conjuntos de evaluación, el ajuste fino y el aprendizaje por refuerzo a partir de comentarios humanos.

Cómo funciona un volante de inercia de datos#

Cada ciclo pasa por la captura, la revisión, el reentrenamiento y una decisión de lanzamiento:

La captura determina qué datos de producción entran en el ciclo. Almacenarlo todo es caro y, en su mayor parte, redundante, así que los sistemas conservan las entradas que aportan información: predicciones con baja confianza, desacuerdos entre modelos, correcciones de usuarios, clases poco frecuentes y entradas que indican deriva de datos. Seleccionar los ejemplos que más enseñarán al modelo es el objetivo del aprendizaje activo.

La revisión convierte las entradas capturadas en verdad de referencia. Los anotadores con intervención humana confirman o corrigen cada etiqueta, eliminan duplicados y contenido sensible, y los ejemplos aprobados se incorporan a un conjunto de datos con control de versiones, para que se pueda rastrear cada modelo hasta los datos con los que se entrenó.

El reentrenamiento produce un candidato que debe superar al modelo actual en un conjunto de prueba fijo y reservado, a menudo un conjunto de datos de referencia seleccionado cuidadosamente, antes del lanzamiento. El despliegue gradual y la supervisión del modelo detectan después las regresiones e inician el siguiente ciclo.

Ultralytics Platform automatiza la etapa de captura con Agents, flujos de trabajo visuales cuya plantilla Collect Uncertain Detections procesa las imágenes de un conjunto de datos con un modelo desplegado, conserva las imágenes que tienen al menos una detección dentro de un intervalo de confianza elegido, como de 0.25 a 0.5, y las añade sin etiquetar a un conjunto de datos de destino para revisarlas en el editor de anotaciones.

Por qué se estancan los volantes de datos#

Un volante de datos solo gira a la velocidad de su etapa más lenta, y esa etapa suele ser el etiquetado humano. Si se devuelven las propias predicciones de un modelo como etiquetas sin revisión humana, sus errores se refuerzan por sí solos. Un sistema que actúa según sus predicciones también condiciona los datos que ve después, de modo que un sistema de recomendación solo aprende sobre los elementos que ha elegido mostrar; en 2015, investigadores de Google incluyeron estos bucles de retroalimentación entre las fuentes de deuda técnica oculta en los sistemas de aprendizaje automático. Evaluar cada versión con un conjunto de prueba que cambia con los datos entrantes oculta las regresiones, y trasladar ejemplos de prueba al entrenamiento provoca filtración de datos.

Volante de datos y términos relacionados#

• IA centrada en los datos: Práctica de mejorar los modelos mejorando los datos. Un volante de datos la aplica de forma continua y obtiene los datos de producción.
• Aprendizaje continuo: Actualiza un modelo con datos nuevos a lo largo del tiempo y evita que olvide catastróficamente tareas anteriores. En cambio, la mayoría de los volantes de datos reentrenan con el conjunto de datos completo y creciente en cada lanzamiento.
• Operaciones de aprendizaje automático (MLOps): Canalizaciones y herramientas de control de versiones, entrenamiento, despliegue y supervisión que permiten reproducir cada ciclo del volante de datos.
• Efectos de red: Un producto gana valor a medida que lo utiliza más gente. Un volante de datos solo aporta una ventaja duradera cuando ese uso genera datos que la competencia no puede recopilar fácilmente.