Synthetic Data Generation
La generación de datos sintéticos crea datos artificiales de entrenamiento mediante simuladores, reglas procedimentales, modelos generativos y LLM, a menudo con etiquetas exactas.
La generación de datos sintéticos es el proceso de producir imágenes, vídeos, lecturas de sensores, tablas o texto artificiales mediante un simulador, reglas procedimentales o un modelo generativo, para que un modelo de aprendizaje automático pueda entrenarse o evaluarse con ellos. El resultado son datos sintéticos; la calidad de esos datos depende de cuatro decisiones del proceso de generación: qué método crea las muestras, cómo se asignan las etiquetas, cuánta variación presenta cada escena y cómo se compara el resultado con datos reales. En visión artificial, lo más atractivo es que un generador que coloca cada objeto también puede crear su anotación de datos, con exactitud y sin coste.
Principales métodos de generación#
Los simuladores crean una escena 3D a partir de recursos, definen la iluminación, los materiales y la cámara, y generan imágenes junto con máscaras exactas, mapas de profundidad y cajas delimitadoras, porque la descripción de la escena registra la ubicación de todos los elementos. Los simuladores de conducción de código abierto, como CARLA, producen flujos de cámara, LiDAR y radar para vehículos autónomos, y los simuladores de robótica hacen lo mismo para tareas de agarre y navegación. La aleatorización del dominio modifica las texturas, la iluminación y las poses en las distintas imágenes generadas para que los modelos entrenados con ellas puedan transferirse a cámaras reales.
La generación procedimental utiliza scripts y reglas en lugar de una escena completa. La composición mediante recorte y pegado, popularizada por el artículo «Cut, Paste and Learn» de 2017, de Carnegie Mellon University, pega recortes de objetos segmentados sobre nuevos fondos y registra cada caja pegada como etiqueta. La versión más sencilla dibuja formas en posiciones aleatorias y el generador escribe la etiqueta de cada objeto mientras lo dibuja:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Imprime wrote 100 images with 256 exact box labels. Cada línea sigue el formato de etiquetas YOLO y almacena la clase y el centro, la anchura y la altura de la caja como fracciones del tamaño de la imagen. No ha hecho falta ningún anotador humano.
Los modelos generativos aprenden el aspecto de los datos reales y generan nuevas muestras a partir de ellos. Las redes generativas antagónicas (GANs) y los modelos de difusión producen imágenes fotorrealistas a partir de ruido, una instrucción de texto o una imagen de referencia; los métodos de condicionamiento, como ControlNet, fijan la composición para que las posiciones de los objetos sean conocidas. Sin ese condicionamiento, hay que etiquetar las imágenes generadas posteriormente. Para las tablas, los sintetizadores estadísticos ajustan una distribución conjunta a registros reales mediante cópulas gaussianas, redes bayesianas o GAN condicionales como CTGAN (NeurIPS 2019), y después generan nuevas filas.
Los modelos de lenguaje grandes generan datos de texto: instrucciones, diálogos, ejercicios de programación y trazas de razonamiento. Microsoft entrenó phi-1, un modelo de programación con 1300 millones de parámetros, con 6000 millones de tokens de texto web filtrado y 1000 millones de tokens de libros de texto y ejercicios escritos por GPT-3.5, y alcanzó un 50,6 % de pass@1 en la prueba de referencia HumanEval.
Elegir y validar un método#
El método depende de lo que deban contener los datos, y todos los métodos terminan con la misma comprobación frente a datos reales:
La validación entrena un modelo con los datos generados, solos o mezclados con datos reales, y lo evalúa únicamente con datos de prueba reales y excluidos del entrenamiento, como en las pruebas de Ultralytics con datos sintéticos de NVIDIA Cosmos para la detección de defectos. Si la exactitud en imágenes reales cae al aumentar la proporción de datos sintéticos, el generador tiene carencias de realismo o cobertura; las puntuaciones a nivel de imagen, como la distancia de Inception de Fréchet (FID), ayudan a localizarlas. Los generadores entrenados con datos reales también pueden memorizarlos, así que las canalizaciones sensibles a la privacidad comparan los registros generados con los originales, y algunas incorporan privacidad diferencial al entrenamiento.
Ultralytics Platform incorpora la generación a la gestión de conjuntos de datos mediante la acción Generar imágenes similares. Esta acción toma una imagen de un conjunto de datos, redacta descripciones de escenas nuevas inspiradas en ella y genera una imagen por descripción con el modelo Ultralytics Image 4B de forma predeterminada, de 1 a 16 cada vez, siguiendo las instrucciones opcionales sobre qué variar, como la iluminación, el punto de vista, el fondo o los objetos. Las imágenes seleccionadas se añaden al conjunto de datos sin etiquetar, listas para anotarse.
Generación de datos sintéticos frente a términos relacionados#
- Aumento de datos: Transforma muestras reales existentes durante el entrenamiento mediante volteos, recortes o cambios de color, de modo que cada resultado sigue vinculado a un original.
- IA generativa: Campo más amplio de los modelos que crean contenido. Los modelos generativos son una fuente de datos sintéticos, junto con los simuladores y las reglas procedimentales.
- Datos sintéticos: Conjunto de datos producido mediante generación, que se evalúa por su fidelidad a los datos reales, su utilidad para el entrenamiento y la privacidad que preserva.










