Licencia YOLO
Volver al glosario de Ultralytics

Synthetic Data Generation

La generación de datos sintéticos crea datos artificiales de entrenamiento mediante simuladores, reglas procedimentales, modelos generativos y LLM, a menudo con etiquetas exactas.

La generación de datos sintéticos es el proceso de producir imágenes, vídeos, lecturas de sensores, tablas o texto artificiales mediante un simulador, reglas procedimentales o un modelo generativo, para que un modelo de aprendizaje automático pueda entrenarse o evaluarse con ellos. El resultado son datos sintéticos; la calidad de esos datos depende de cuatro decisiones del proceso de generación: qué método crea las muestras, cómo se asignan las etiquetas, cuánta variación presenta cada escena y cómo se compara el resultado con datos reales. En visión artificial, lo más atractivo es que un generador que coloca cada objeto también puede crear su anotación de datos, con exactitud y sin coste.

Principales métodos de generación#

Los simuladores crean una escena 3D a partir de recursos, definen la iluminación, los materiales y la cámara, y generan imágenes junto con máscaras exactas, mapas de profundidad y cajas delimitadoras, porque la descripción de la escena registra la ubicación de todos los elementos. Los simuladores de conducción de código abierto, como CARLA, producen flujos de cámara, LiDAR y radar para vehículos autónomos, y los simuladores de robótica hacen lo mismo para tareas de agarre y navegación. La aleatorización del dominio modifica las texturas, la iluminación y las poses en las distintas imágenes generadas para que los modelos entrenados con ellas puedan transferirse a cámaras reales.

La generación procedimental utiliza scripts y reglas en lugar de una escena completa. La composición mediante recorte y pegado, popularizada por el artículo «Cut, Paste and Learn» de 2017, de Carnegie Mellon University, pega recortes de objetos segmentados sobre nuevos fondos y registra cada caja pegada como etiqueta. La versión más sencilla dibuja formas en posiciones aleatorias y el generador escribe la etiqueta de cada objeto mientras lo dibuja:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

Imprime wrote 100 images with 256 exact box labels. Cada línea sigue el formato de etiquetas YOLO y almacena la clase y el centro, la anchura y la altura de la caja como fracciones del tamaño de la imagen. No ha hecho falta ningún anotador humano.

Los modelos generativos aprenden el aspecto de los datos reales y generan nuevas muestras a partir de ellos. Las redes generativas antagónicas (GANs) y los modelos de difusión producen imágenes fotorrealistas a partir de ruido, una instrucción de texto o una imagen de referencia; los métodos de condicionamiento, como ControlNet, fijan la composición para que las posiciones de los objetos sean conocidas. Sin ese condicionamiento, hay que etiquetar las imágenes generadas posteriormente. Para las tablas, los sintetizadores estadísticos ajustan una distribución conjunta a registros reales mediante cópulas gaussianas, redes bayesianas o GAN condicionales como CTGAN (NeurIPS 2019), y después generan nuevas filas.

Los modelos de lenguaje grandes generan datos de texto: instrucciones, diálogos, ejercicios de programación y trazas de razonamiento. Microsoft entrenó phi-1, un modelo de programación con 1300 millones de parámetros, con 6000 millones de tokens de texto web filtrado y 1000 millones de tokens de libros de texto y ejercicios escritos por GPT-3.5, y alcanzó un 50,6 % de pass@1 en la prueba de referencia HumanEval.

Elegir y validar un método#

El método depende de lo que deban contener los datos, y todos los métodos terminan con la misma comprobación frente a datos reales:

La validación entrena un modelo con los datos generados, solos o mezclados con datos reales, y lo evalúa únicamente con datos de prueba reales y excluidos del entrenamiento, como en las pruebas de Ultralytics con datos sintéticos de NVIDIA Cosmos para la detección de defectos. Si la exactitud en imágenes reales cae al aumentar la proporción de datos sintéticos, el generador tiene carencias de realismo o cobertura; las puntuaciones a nivel de imagen, como la distancia de Inception de Fréchet (FID), ayudan a localizarlas. Los generadores entrenados con datos reales también pueden memorizarlos, así que las canalizaciones sensibles a la privacidad comparan los registros generados con los originales, y algunas incorporan privacidad diferencial al entrenamiento.

Ultralytics Platform incorpora la generación a la gestión de conjuntos de datos mediante la acción Generar imágenes similares. Esta acción toma una imagen de un conjunto de datos, redacta descripciones de escenas nuevas inspiradas en ella y genera una imagen por descripción con el modelo Ultralytics Image 4B de forma predeterminada, de 1 a 16 cada vez, siguiendo las instrucciones opcionales sobre qué variar, como la iluminación, el punto de vista, el fondo o los objetos. Las imágenes seleccionadas se añaden al conjunto de datos sin etiquetar, listas para anotarse.

  • Aumento de datos: Transforma muestras reales existentes durante el entrenamiento mediante volteos, recortes o cambios de color, de modo que cada resultado sigue vinculado a un original.
  • IA generativa: Campo más amplio de los modelos que crean contenido. Los modelos generativos son una fuente de datos sintéticos, junto con los simuladores y las reglas procedimentales.
  • Datos sintéticos: Conjunto de datos producido mediante generación, que se evalúa por su fidelidad a los datos reales, su utilidad para el entrenamiento y la privacidad que preserva.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático