¿Qué son los datos sintéticos en la visión por computador? Una introducción

Los datos siempre han sido un factor impulsor en ámbitos como la analítica y la inteligencia artificial (AI). De hecho, la forma en que recopilamos, generamos y utilizamos los datos está dando forma al futuro de los sistemas inteligentes. Por ejemplo, los coches autónomos dependen de millones de imágenes etiquetadas y lecturas de sensores, desde señales de tráfico hasta movimientos de peatones, para aprender a circular por las carreteras de forma segura.

Uno de los tipos de datos más importantes que impulsan este progreso, especialmente en ámbitos como los vehículos autónomos y la seguridad, son los datos visuales, como imágenes y vídeos.

En concreto, el campo de la AI que permite a las máquinas interpretar esta información visual se denomina visión artificial. Ayuda a los sistemas a comprender y analizar las entradas visuales de forma similar a los seres humanos, y permite realizar tareas como el reconocimiento facial, la detección de señales de tráfico y el análisis de imágenes médicas.

Sin embargo, recopilar conjuntos de datos visuales a gran escala y de alta calidad del mundo real puede llevar mucho tiempo, resultar costoso y plantear a menudo problemas de privacidad. Por eso, los investigadores están explorando activamente el concepto de aprovechar los datos sintéticos.

Los datos sintéticos son elementos visuales generados artificialmente que imitan fielmente las imágenes y vídeos del mundo real. Se crean mediante técnicas como el modelado 3D, las simulaciones informáticas y métodos de AI generativa, como las redes generativas antagónicas (GANs), que aprenden patrones a partir de datos reales para producir nuevos ejemplos realistas.

Se espera que los datos sintéticos desempeñen pronto un papel fundamental en el desarrollo de la AI, ya que Gartner predice que, para 2030, serán más importantes que los datos del mundo real. En este artículo, veremos qué son los datos sintéticos en el contexto de la visión artificial, cómo se generan y dónde se están aplicando en situaciones reales. ¡Empecemos!

¿Qué son los datos sintéticos en visión artificial?#

Supón que quieres entrenar un modelo de AI de visión para detectar objetos en entornos y condiciones diversos. Depender únicamente de datos del mundo real puede resultar difícil y, en ocasiones, limitante.

Mientras tanto, los datos sintéticos pueden utilizarse para crear el conjunto de datos adecuado, con objetos en distintas condiciones creadas artificialmente. Mediante herramientas como el modelado 3D y las simulaciones, los desarrolladores pueden generar imágenes con un control preciso de factores como la iluminación, los ángulos y la colocación de los objetos. Esto ofrece más flexibilidad para entrenar modelos que los datos del mundo real.

Los datos sintéticos son especialmente útiles cuando recopilar datos del mundo real resulta difícil o imposible. Por ejemplo, entrenar un modelo para reconocer personas en una amplia variedad de posturas, como corriendo, agachadas o tumbadas, requeriría capturar miles de fotos en muchos entornos, ángulos y condiciones de iluminación diferentes.

En cambio, con datos sintéticos, los desarrolladores pueden generar fácilmente estas variaciones con etiquetas precisas, ahorrando tiempo y esfuerzo y mejorando al mismo tiempo el rendimiento del modelo.

Fig. 1. Un conjunto de datos sintéticos con distintas posturas humanas y variaciones de iluminación (fuente).

Datos sintéticos frente a datos reales en AI#

A continuación, examinemos más de cerca las diferencias entre los datos sintéticos y los datos reales. Ambos tienen ventajas e inconvenientes a la hora de entrenar modelos de AI.

Por ejemplo, los datos sintéticos son útiles cuando resulta difícil recopilar datos reales, pero quizá no capturen todos los pequeños detalles presentes en la vida real. Al mismo tiempo, los datos reales son más auténticos, pero puede ser complicado obtenerlos, etiquetarlos lleva tiempo y quizá no cubran todas las situaciones.

Al combinar datos sintéticos y reales, los desarrolladores pueden obtener lo mejor de ambos mundos. Este equilibrio ayuda a los modelos de AI a aprender con mayor precisión, generalizar mejor en distintos escenarios y reducir los sesgos.

Fig. 2. Datos sintéticos frente a datos reales en AI. Imagen del autor.

Una mirada a la generación de datos para modelos de visión artificial#

Desde construir mundos virtuales con herramientas 3D hasta generar imágenes mediante AI generativa, estos son algunos métodos habituales para crear datos de entrenamiento sintéticos para modelos de visión artificial:

• Modelado 3D: Los desarrolladores utilizan software 3D para crear objetos y escenas digitales. Esto permite controlar por completo aspectos como la iluminación, los ángulos de cámara y la colocación de los objetos, y resulta útil para generar imágenes realistas de personas, vehículos y entornos.
• Simulaciones: Estas recrean situaciones del mundo real, como el tráfico o entornos industriales, mediante motores basados en la física. Las simulaciones son útiles para generar datos de entrenamiento de forma segura en ámbitos como la robótica y los coches autónomos.
• Redes generativas antagónicas: Las GANs son un tipo de modelo de aprendizaje profundo compuesto por dos redes: una que crea imágenes y otra que las evalúa. Juntas generan imágenes muy realistas, como rostros humanos o vistas de calles, aprendiendo de ejemplos reales.
• Generación procedural: Esta técnica utiliza reglas predefinidas o modelos matemáticos para generar automáticamente estructuras visuales complejas, como terrenos, edificios o texturas. Se utiliza a menudo en plataformas de videojuegos y simulación, y puede producir conjuntos de datos diversos y a gran escala con una intervención humana mínima.
• Aleatorización de dominio: Puede cambiar aleatoriamente aspectos como la iluminación, los colores y las formas de los objetos en escenas sintéticas. El objetivo de esta técnica es ayudar a los modelos a centrarse en lo que realmente importa, haciéndolos más adaptables a los entornos del mundo real.

Fig. 3. Ejemplos de datos: (a) basados en modelos 3D, (b) escenas sintéticas con varios objetos y (c) imágenes de conjuntos de datos reales (fuente).

Entrenamiento de modelos de AI de visión con datos sintéticos#

Ahora que hemos hablado de algunos de los distintos métodos utilizados para crear datos sintéticos, veamos cómo se utilizan para entrenar modelos de AI.

Una vez generados, los datos sintéticos normalmente pueden integrarse directamente en la canalización de entrenamiento del mismo modo que los datos del mundo real. Suelen incluir las anotaciones necesarias, como etiquetas de objetos, cuadros delimitadores o máscaras de segmentación, por lo que pueden utilizarse en tareas de aprendizaje supervisado, en las que los modelos aprenden a partir de pares de entrada y salida etiquetados, sin necesidad de etiquetarlos manualmente.

Durante el entrenamiento, el modelo procesa imágenes sintéticas para aprender a detectar características, reconocer patrones y clasificar objetos. Estos datos pueden utilizarse para crear una versión inicial del modelo desde cero o para enriquecer un conjunto de datos existente, lo que ayuda a mejorar el rendimiento del modelo.

En muchos flujos de trabajo, los datos sintéticos también se utilizan para el preentrenamiento, proporcionando a los modelos una comprensión general y fundamental antes de ajustarlos con ejemplos del mundo real. Del mismo modo, se emplean para aumentar los conjuntos de datos introduciendo variaciones controladas, como distintas condiciones de iluminación, ángulos o clases de objetos poco frecuentes, con el fin de mejorar la generalización y reducir el sobreajuste.

Al combinar datos sintéticos y reales, los equipos pueden entrenar modelos más robustos que funcionen bien en una amplia variedad de condiciones, reduciendo al mismo tiempo la dependencia de esfuerzos manuales de recopilación de datos que requieren mucho tiempo y son costosos.

Aplicaciones de los datos sintéticos en la visión artificial en el mundo real#

A medida que los datos sintéticos se vuelven más prácticos y accesibles, empezamos a ver cómo se adoptan en diversos casos de uso de AI de visión en el mundo real. Exploremos algunas de las aplicaciones más importantes en visión artificial en las que se están utilizando.

Uso de datos sintéticos para la detección de objetos en vehículos autónomos#

Enseñar a los coches autónomos a circular de forma segura requiere entrenar modelos con una amplia variedad de escenarios, incluidas situaciones poco frecuentes o peligrosas. Sin embargo, recopilar datos del mundo real para estos casos límite puede ser complicado y, en ocasiones, inseguro. Los datos sintéticos pueden ayudar a crear escenas en las que los modelos aprendan a detectar objetos en situaciones difíciles. También pueden imitar distintas configuraciones de sensores, lo que resulta útil porque no todos los coches autónomos utilizan el mismo hardware.

La plataforma DRIVE Sim de NVIDIA es un buen ejemplo de ello. Crea datos sintéticos de alta calidad mediante modelos 3D fotorrealistas, entornos virtuales y simulaciones de sensores. También puede generar imágenes desde múltiples ángulos de conducción a partir de una sola imagen. Utilizar datos sintéticos de este modo ayuda a reducir la necesidad de realizar pruebas costosas en el mundo real, al tiempo que proporciona al modelo la variedad que necesita para aprender eficazmente.

Fig. 4. Creación de múltiples vistas de conducción a partir de una imagen (fuente).

Reducción de los sesgos en la AI de imágenes médicas mediante datos sintéticos#

Los modelos de visión artificial como Ultralytics YOLO11, compatibles con tareas como la detección de objetos y la segmentación de instancias, pueden entrenarse de forma personalizada para aplicaciones de imágenes médicas. Sin embargo, los datos de entrenamiento del mundo real suelen contener sesgos, ya que quizá no representen adecuadamente a pacientes de todos los grupos demográficos.

Por ejemplo, el cáncer de piel se diagnostica con menor frecuencia en personas con tonos de piel más oscuros, lo que da lugar a una cantidad limitada de datos para esas poblaciones. Este desequilibrio puede contribuir a diagnósticos erróneos y a resultados sanitarios desiguales, especialmente en campos como la histopatología, las radiografías de tórax y la dermatología.

Las imágenes sintéticas pueden contribuir a reducir esta brecha de datos. Al generar ejemplos adicionales y diversos, como distintas anomalías tisulares, una amplia variedad de afecciones pulmonares y tonos de piel con diferentes tipos de lesiones, los datos sintéticos pueden ayudar a mejorar el rendimiento de los modelos en grupos infrarrepresentados.

Actualmente, los investigadores trabajan en el desarrollo y la validación de conjuntos de datos sintéticos para respaldar estos objetivos. También exploran cómo pueden utilizarse los datos sintéticos para probar herramientas médicas y estrategias de tratamiento sin depender de historiales de pacientes reales, lo que ayuda a acelerar la investigación y proteger la privacidad de los pacientes. Gracias a este trabajo, los datos sintéticos están allanando el camino hacia sistemas de AI médica más inclusivos, precisos y éticos.

Impulso de la AI agrícola con datos sintéticos para la agricultura de precisión#

La creación de sistemas de visión artificial para aplicaciones agrícolas depende del acceso a grandes cantidades de datos etiquetados. Sin embargo, recopilar y etiquetar imágenes de cultivos, enfermedades y condiciones del campo es lento, costoso y suele estar limitado por factores como el tiempo meteorológico, las temporadas de cultivo o la dificultad para acceder a determinadas zonas.

Estos retos dificultan el entrenamiento de modelos de visión artificial para realizar tareas como detectar enfermedades de las plantas, monitorizar cultivos o predecir el rendimiento. Ahí es donde los datos sintéticos pueden ayudar: imitando distintos entornos agrícolas para generar ejemplos de entrenamiento útiles.

Fig. 5. Uso de imágenes sintéticas para mejorar la detección de enfermedades (fuente).

Conclusiones clave#

El uso de datos sintéticos representa un importante avance en el entrenamiento de modelos de AI, especialmente para sistemas de visión artificial en ámbitos donde los datos del mundo real son limitados o difíciles de obtener. En lugar de depender únicamente de fotos o vídeos reales, que pueden resultar costosos, requerir mucho tiempo o plantear problemas de privacidad, los datos sintéticos permiten generar imágenes realistas y etiquetadas bajo demanda.

Facilitan el entrenamiento de modelos de AI de visión para tareas como la conducción autónoma, la detección de enfermedades o la monitorización de cultivos. A medida que la AI sigue evolucionando, los datos sintéticos desempeñarán un papel aún más importante a la hora de acelerar la innovación y mejorar la accesibilidad en distintos sectores.

Obtén más información sobre AI en nuestro repositorio de GitHub y únete a nuestra creciente comunidad. Descubre el impacto de aplicaciones como la AI en vehículos autónomos y la visión artificial en la agricultura. Explora nuestras opciones de licencia y haz realidad tus proyectos de AI de visión.