Las mejores herramientas de datos sintéticos para entrenar modelos de visión artificial

La mejor herramienta de datos sintéticos para visión artificial depende de lo que le falte a tu conjunto de datos real. Las herramientas de simulación 3D, como NVIDIA Isaac Sim con Omniverse Replicator y BlenderProc, renderizan escenas nuevas con etiquetas incluidas. Las herramientas generativas, como NVIDIA Cosmos y la función Generate Similar Images de Ultralytics Platform, añaden variaciones a las imágenes que ya tienes. Las bibliotecas de aumento de datos, como Albumentations, transforman tus imágenes reales durante el entrenamiento.

Elijas la que elijas, evalúala con imágenes reales que el modelo nunca haya visto. En una prueba de Ultralytics y NVIDIA con conjuntos de datos de defectos industriales, añadir defectos generados elevó el mAP₇₅ de Ultralytics YOLO26x de 0,11 a 0,32 en las clases de DAGM, pero solo 0,008 en Real-IAD (detalles de la prueba). El beneficio de los datos sintéticos varía según el conjunto de datos y cómo se hayan generado.

Esta guía compara las principales herramientas según su método, explica qué carencia resuelve cada una y muestra cómo probar datos sintéticos con Ultralytics YOLO26 antes de decidirte a usarlos. Si el tema es nuevo para ti, empieza por qué son los datos sintéticos y cómo se utilizan.

Tres formas de crear datos sintéticos de entrenamiento#

Esta guía agrupa las herramientas de generación de datos sintéticos en tres métodos prácticos. Resuelven problemas distintos, así que primero compara las herramientas de un mismo método.

Cada método gestiona las etiquetas de forma distinta, y los tres deben evaluarse con imágenes reales que el modelo nunca haya visto.

Los datos sintéticos y el aumento de datos se solapan: ambos añaden ejemplos de entrenamiento que no has recopilado. La diferencia práctica está en el origen de las imágenes nuevas. El aumento de datos modifica lo que ya tienes, mientras que la simulación y los modelos generativos pueden mostrar al modelo elementos que no aparecen en tu conjunto de datos.

Comparativa de herramientas de datos sintéticos#

Las herramientas aparecen en orden alfabético y cada fila se ha contrastado con el sitio web o el repositorio de la propia herramienta en noviembre de 2026.

Ultralytics Platform no es una herramienta de simulación 3D. Generate Similar Images describe escenas nuevas inspiradas en tu imagen y genera una imagen para cada una, con Ultralytics Image 4B (predeterminado) o Ultralytics Image 6B. Las imágenes nuevas comparten los temas y el estilo de la imagen de origen, pero se generan sin etiquetas, así que debes anotarlas antes del entrenamiento. Si necesitas etiquetas de precisión de píxel para objetos que puedes modelar en 3D, te conviene más una herramienta de simulación.

Composición ilustrativa de Generate Similar Images en Ultralytics Platform, con cuatro resultados reales generados con el modelo gratuito Ultralytics Image 4B. Fotografía de origen: 001 Car factory assembly line - Opel factory in Gliwice, Poland, Marek Ślusarczyk (Tupungato), CC BY 3.0. Se muestran adaptaciones generadas por IA.

Cómo elegir una herramienta de datos sintéticos#

Empieza por identificar qué le falta a tu conjunto de datos, no por elegir una herramienta. Estas son las carencias más habituales y las herramientas adecuadas para resolverlas.

Defectos y anomalías poco frecuentes#

Puede ser difícil recopilar ejemplos reales de tipos de defectos poco frecuentes. Merece la pena probar dos enfoques:

• Genera defectos en imágenes reales. En la prueba de Ultralytics y NVIDIA, NVIDIA Cosmos Data Factory generó imágenes de defectos, las etiquetó automáticamente y las añadió a imágenes reales de entrenamiento. El informe publicado indica que la capacidad de detección mejoró en todos los conjuntos de datos de la prueba con datos sintéticos. El paso de generación de Cosmos es actualmente una muestra de demostración, no una integración disponible.
• Aumento de datos con copiar y pegar. Para entrenar modelos de segmentación o OBB con etiquetas poligonales, activa copy_paste para copiar objetos dentro de las imágenes o entre ellas y aumentar la frecuencia con la que aparece una clase poco común. Esta opción está desactivada de forma predeterminada.

Consulta la visión artificial en la fabricación para saber qué papel desempeña la detección de defectos en una línea de producción.

Robots, almacenes y operaciones de recogida y colocación#

Si puedes modelar los objetos y el espacio en 3D, la simulación genera etiquetas para cada imagen y te permite variar las poses, la iluminación y los elementos del entorno en las distintas representaciones, un proceso conocido como aleatorización del dominio. Plantéate usar NVIDIA Isaac Sim con Omniverse Replicator para simulación robótica en hardware NVIDIA, y BlenderProc para generar representaciones mediante scripts a partir de modelos 3D que ya tengas. Lee más sobre visión artificial en robótica.

Conducción, drones y sistemas multisensor#

Para simular cámaras, lidar y radar, o realizar pruebas de bucle cerrado, plantéate usar plataformas diseñadas para la autonomía multisensor. Parallel Domain crea reconstrucciones a partir de registros reales de conducción y vuelo. Anyverse simula resultados específicos de sensores para conducción, el interior de vehículos y defensa. Duality AI Falcon se centra en la autonomía aérea y todoterreno.

Satélites, SAR y otros sensores no visibles#

Rendered.ai ofrece simulación SAR, infrarroja, térmica, multiespectral, hiperespectral y de rayos X. Anyverse ofrece resultados en infrarrojo cercano y térmicos.

Un conjunto de datos pequeño que necesita más variedad#

Empieza con aumentos que reflejen las condiciones que el modelo verá realmente, porque así se conservan las etiquetas. Para entrenar detección, Ultralytics YOLO activa por defecto mosaicos, cambios de color, escalado, traslación y volteos horizontales, y puedes añadir tus propias transformaciones de Albumentations. Si los aumentos no cubren las condiciones que no puedes fotografiar, como otras iluminaciones, fondos o puntos de vista, prueba variaciones generativas o simulación, según la escena y cómo vayas a etiquetarla.

Cómo comprobar si los datos sintéticos ayudan#

Los datos sintéticos solo merecen la pena si el modelo obtiene mejores resultados con imágenes reales. Ejecuta el mismo experimento dos veces y cambia solo las imágenes de entrenamiento:

1. Reserva imágenes de prueba reales. Conserva un conjunto de prueba de imágenes reales del entorno en el que se ejecutará el modelo y nunca añadas imágenes sintéticas a ese conjunto.
2. Entrena un modelo de referencia solo con imágenes reales.
3. Vuelve a entrenar con imágenes reales y sintéticas, usando el mismo modelo, número de épocas, optimizador y semilla.
4. Elige la receta con imágenes reales de validación. Si pruebas distintas cantidades de datos sintéticos, compáralas con imágenes reales de validación. Después, evalúa solo el modelo de referencia y la receta elegida con el conjunto de prueba real que no hayas tocado. Fíjate en mAP_50-95 y la exhaustividad, y también en mAP₇₅ si importa la precisión de las cajas.

Con Ultralytics YOLO, la partición de entrenamiento puede incluir varias carpetas, para que las imágenes reales y sintéticas permanezcan separadas en el disco. Crea real.yaml del mismo modo, con train establecido únicamente en images/train_real. Mantén las imágenes casi duplicadas y las imágenes de una misma escena en la misma partición, y genera imágenes sintéticas solo a partir de imágenes de entrenamiento:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Esto compara la misma receta de entrenamiento con y sin imágenes sintéticas, evaluada con las mismas imágenes reales de prueba. Con el mismo número de épocas, el conjunto de datos más grande requiere más pasos de entrenamiento, así que repite el experimento con varias semillas antes de confiar en una diferencia pequeña. Consulta la documentación de Train y Val para ver todos los ajustes, y las claves para evaluar modelos para interpretar los resultados.

mAP₇₅ con solo imágenes reales frente a imágenes con defectos generados, en los conjuntos de datos en los que se probó la síntesis y resultó útil, según la prueba de Ultralytics y NVIDIA.

Qué ha medido Ultralytics#

• Defectos generados (prueba de Ultralytics y NVIDIA). En conjuntos de datos de inspección industrial con etiquetas poligonales, se comparó Ultralytics YOLO26x entrenado con imágenes reales más defectos generados por NVIDIA Cosmos Data Factory con el mismo modelo entrenado solo con imágenes reales. mAP₇₅ aumentó entre 0,11 y 0,32 en las clases de DAGM; por ejemplo, en la clase 9 de DAGM pasó de 0,650 a 0,966. En Real-IAD, la mejora fue de 0,008. Ambos modelos usaron la misma receta y el mismo conjunto de prueba reservado (resultados completos).
• Datos sintéticos de profundidad. Los modelos de profundidad YOLO26 se preentrenan con una mezcla de unos 2,19 millones de imágenes que incluye conjuntos de datos sintéticos como Hypersim, que proporciona valores de referencia densos de profundidad a partir de escenas renderizadas, con píxeles no válidos, como los de ventanas y cielo, enmascarados. Los datos sintéticos complementan los datos de sensores reales, más ruidosos, en lugar de sustituirlos.
• Imágenes generadas en un conjunto de datos abierto. Ultralytics Construction-PPE combina imágenes recopiladas por personas e imágenes generadas: 1.000 imágenes y 12 clases, publicadas con licencia CC BY 4.0. No tiene una partición de prueba independiente, y su documentación recomienda evaluar el modelo con imágenes independientes de tu propio entorno de despliegue.

Cuántos datos sintéticos añadir#

No hay una proporción universal, así que considérala un ajuste que debes probar. En la prueba de Ultralytics y NVIDIA, las imágenes sintéticas se limitaron al 25 % o al 100 % de las imágenes reales de entrenamiento: una imagen sintética por cada cuatro reales o una por cada real. De las 11.448 imágenes generadas, solo se conservaron 1.481. Empieza con una proporción pequeña, elígela con imágenes reales de validación y reserva el conjunto de prueba real intacto para la comparación final.

Dónde encaja Ultralytics#

Ultralytics no vende un motor de simulación 3D. Cubre los pasos relacionados con los datos sintéticos:

• Entrena y compara. Ultralytics YOLO se entrena con cualquier combinación de imágenes reales y sintéticas en formato YOLO, en tu propio hardware o en GPU en la nube con Ultralytics Platform.
• Añade variaciones a las imágenes reales. Generar imágenes similares en Ultralytics Platform crea hasta 16 variaciones de una imagen por lote, con instrucciones opcionales como «cambia la iluminación» o «añade lluvia».
• Etiqueta lo que generes. La anotación inteligente de Ultralytics Platform usa SAM 3.1, YOLO y YOLOE para etiquetar imágenes nuevas, también por lotes para conjuntos de datos completos.
• Aumenta los datos de forma predeterminada. El entrenamiento de Ultralytics YOLO incluye aumentos integrados y admite transformaciones personalizadas de Albumentations.