Synthetic Data

Los datos sintéticos son información generada mediante una simulación, un conjunto de reglas o un modelo de IA generativa, en vez de medirse a partir de eventos reales; se crean para reproducir los patrones estadísticos de los datos reales que representan. Una escena callejera renderizada, una tabla de historiales médicos ficticios cuyas columnas están correlacionadas como las reales y un ejercicio matemático redactado por un modelo de lenguaje son ejemplos de datos sintéticos. Como el generador crea cada ejemplo, también conoce la respuesta de cada uno, de modo que una imagen renderizada incluye cuadros delimitadores, máscaras de segmentación y valores de profundidad exactos sin coste de etiquetado. La generación de datos sintéticos es el proceso que los produce, desde el renderizado con motores de videojuegos hasta los modelos de difusión.

Tipos de datos sintéticos#

El estadístico Donald Rubin propuso los datos totalmente sintéticos en 1993 para que los organismos censales pudieran publicar registros detallados sin revelar las respuestas de ningún encuestado real; el campo sigue distinguiendo tres tipos:

• Datos totalmente sintéticos: Todos los registros o imágenes proceden de un generador, como en un conjunto de datos renderizado a partir de escenas 3D o una tabla muestreada de un modelo ajustado a registros reales.
• Datos parcialmente sintéticos: Solo se sustituyen los campos sensibles, como los ingresos sintetizados en un archivo de encuesta, mientras que el resto de cada registro sigue siendo real.
• Conjuntos de datos híbridos: Los ejemplos reales y sintéticos comparten un conjunto de entrenamiento, mientras que los conjuntos de validación y prueba siguen siendo reales para que las métricas reflejen la precisión en el mundo real.

Los datos sintéticos abarcan todas las modalidades: imágenes y vídeo de simuladores, flujos LiDAR y de radar, registros tabulares, series temporales y texto escrito por modelos de lenguaje grandes.

Por qué se utilizan datos sintéticos#

Los datos sintéticos cubren carencias que la recopilación de datos reales no puede resolver. Las colisiones, los defectos poco frecuentes y las condiciones meteorológicas extremas son demasiado peligrosos o inusuales para registrarlos en grandes cantidades, así que los simuladores los renderizan bajo demanda para la percepción automovilística y la robótica. Los registros que nunca pertenecieron a una persona real reducen el riesgo de exponer a pacientes o clientes, algo importante para cumplir las normas de privacidad de datos en sanidad y finanzas. Los generadores también pueden sobremuestrear clases, tonos de piel o puntos de vista infrarrepresentados para contrarrestar el sesgo de los conjuntos de datos. Investigadores de Microsoft demostraron que este enfoque puede sustituir por completo las imágenes reales en algunas tareas: en su artículo de ICCV 2021, Fake It Till You Make It, entrenaron modelos de localización de puntos clave faciales y segmentación de rostros solo con caras renderizadas y alcanzaron la misma precisión que al entrenar con fotografías reales.

La geometría densa es otra razón habitual para recurrir a datos sintéticos. Los modelos de estimación de profundidad de Ultralytics YOLO26 se preentrenan con una mezcla de unos 2,19 millones de imágenes que incluye tres fuentes sintéticas: escenas interiores de Apple trazadas por rayos en Hypersim, entornos AirSim en TartanAir y escenas de conducción KITTI renderizadas de nuevo con distintas condiciones meteorológicas y de iluminación en Virtual KITTI 2. Cada fuente proporciona un valor de profundidad para cada píxel, mientras que los escaneos LiDAR KITTI reales de la misma mezcla solo cubren puntos dispersos.

Medición de la calidad de los datos sintéticos#

Los conjuntos de datos sintéticos se evalúan según tres propiedades. La fidelidad mide hasta qué punto se ajustan a las distribuciones reales, desde las medias y correlaciones de columnas en tablas hasta métricas de realismo de imágenes como la distancia de Inception de Fréchet (FID). La utilidad mide si un modelo entrenado con datos sintéticos funciona con datos reales; normalmente se entrena con datos sintéticos y se prueba con datos reales (TSTR). La privacidad mide si se filtran registros reales, mediante distancias al registro real más cercano, ataques de inferencia de pertenencia o garantías formales de privacidad diferencial del generador.

Esta comprobación TSTR ajusta una distribución gaussiana a cada clase de una tabla médica real y entrena el mismo clasificador con filas reales y sintéticas:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

El modelo entrenado con filas reales obtiene un 97,7 % y el entrenado con 1.000 filas sintéticas, un 95,9 %. La diferencia de 1,8 puntos mide la información que el sencillo generador gaussiano no logró captar; ninguna de las filas sintéticas es una copia del historial de un paciente real.

Riesgos y limitaciones#

Un modelo puede aprender los atajos de un motor de renderizado, como bordes perfectos o texturas repetidas, y luego fallar con imágenes reales. Esta brecha entre simulación y realidad se reduce mediante la aleatorización de dominio, la combinación con datos reales o el ajuste fino con un pequeño conjunto real. Además, un generador hereda los puntos ciegos de los datos con los que aprendió, así que rara vez produce los casos de cola larga que motivaron su uso, a menos que se especifiquen explícitamente. Entrenar repetidamente modelos generativos con sus propios resultados provoca el colapso del modelo, que, según demostraron Shumailov y sus colegas en un artículo de Nature de 2024, elimina primero los casos poco frecuentes de la distribución original.

Datos sintéticos frente a términos relacionados#

• Aumento de datos: Transforma ejemplos reales existentes mediante volteos, recortes y cambios de color, de modo que cada nueva muestra deriva de un original concreto.
• Gemelo digital: Modelo virtual de un activo real concreto, sincronizado con los datos de sus sensores. Renderizar un gemelo es una forma de producir datos sintéticos de ese activo.
• Datos anonimizados: Registros reales a los que se han quitado u ocultado los nombres y los identificadores, por lo que cada fila sigue describiendo a una persona real.