Exploración de varios tipos de datos para aplicaciones de IA de visión

La tecnología como los drones solía ser limitada y solo accesible para investigadores y especialistas, pero hoy en día, el hardware de vanguardia es cada vez más accesible para un público más amplio. Este cambio está transformando la forma en que recopilamos datos visuales. Con una tecnología más accesible, ahora podemos capturar imágenes y vídeos de diversas fuentes, más allá de las cámaras tradicionales.

Al mismo tiempo, la analítica de imágenes, habilitada por la computer vision, una rama de la inteligencia artificial (IA), evoluciona con rapidez y permite a las máquinas interpretar y procesar datos visuales con mayor eficacia. Este avance ha abierto nuevas posibilidades para la automatización, la detección de objetos y el análisis en tiempo real. Ahora las máquinas pueden reconocer patrones, rastrear movimientos y dar sentido a entradas visuales complejas.

Algunos tipos clave de visual data incluyen imágenes RGB (rojo, verde, azul), que se usan habitualmente para el reconocimiento de objetos; la termografía, que ayuda a detectar firmas térmicas en condiciones de poca luz; y los datos de profundidad, que permiten a las máquinas comprender entornos 3D. Cada uno de estos tipos de datos desempeña un papel vital para impulsar diversas aplicaciones de la visión de IA, desde la vigilancia hasta la medical imaging.

En este artículo, exploraremos los tipos clave de datos visuales utilizados en la IA de visión y cómo cada uno contribuye a mejorar la precisión, la eficiencia y el rendimiento en diversos sectores. ¡Empecemos!

El tipo más común de conjuntos de datos de imágenes y vídeos para IA#

Normalmente, cuando utilizas un smartphone para hacer una foto o ver imágenes de CCTV, estás trabajando con imágenes RGB. RGB significa rojo, verde y azul, y son los tres canales de color que representan la información visual en las imágenes digitales.

Las imágenes y los vídeos RGB son tipos de datos visuales estrechamente relacionados que se utilizan en la visión artificial, ambos capturados con cámaras estándar. La diferencia clave es que las imágenes capturan un momento único, mientras que los vídeos son una secuencia de fotogramas que muestran cómo cambian las cosas con el tiempo.

Las imágenes RGB se utilizan por lo general para computer vision tasks como la detección de objetos, la segmentación de instancias y la estimación de poses, respaldadas por modelos como Ultralytics YOLO11. Estas aplicaciones se basan en identificar patrones, formas o características específicas en un solo fotograma.

Los vídeos, por otro lado, son esenciales cuando el movimiento o el tiempo son un factor, como en el reconocimiento de gestos, la videovigilancia o el seguimiento de acciones. Dado que los vídeos se pueden considerar una serie de imágenes, los modelos de visión artificial como Ultralytics YOLO11 los procesan fotograma a fotograma para comprender el movimiento y el comportamiento a lo largo del tiempo.

Por ejemplo, Ultralytics YOLO11 se puede utilizar para analizar imágenes RGB o vídeos con el fin de detectar malas hierbas y contar plantas en campos agrícolas. Esto mejora el control de cultivos y ayuda a realizar un seguimiento de los cambios a lo largo de los ciclos de crecimiento para una gestión agrícola más eficiente.

Fig 1. YOLO11 puede detectar y contar plantas para un seguimiento de cultivos más inteligente.

Datos de profundidad en la IA de visión: LiDAR y percepción 3D#

Los datos de profundidad añaden una tercera dimensión a la información visual al indicar la distancia a la que se encuentran los objetos de la cámara o el sensor. A diferencia de las imágenes RGB, que solo capture color y textura, los datos de profundidad proporcionan contexto espacial. Muestran la distancia entre los objetos y la cámara, lo que hace posible interpretar la disposición 3D de una escena.

Este tipo de datos se captura utilizando tecnologías como LiDAR, visión estéreo (utilizando dos cámaras para imitar la percepción de profundidad humana) y cámaras de tiempo de vuelo (que miden el tiempo que tarda la luz en viajar hasta un objeto y volver).

Entre ellos, el LiDAR (detección y medición por luz) suele ser el más fiable para la medición de la profundidad. Funciona enviando rápidos pulsos láser y midiendo cuánto tardan en rebotar. El resultado es un mapa 3D de alta precisión, conocido como nube de puntos, que destaca la forma, la posición y la distancia de los objetos en tiempo real.

El papel creciente del LiDAR en los sistemas de IA de visión#

La tecnología LiDAR puede dividirse en dos tipos principales, cada uno diseñado para aplicaciones y entornos específicos. Aquí tienes un análisis más detallado de ambos tipos:

• LiDAR aerotransportado: Utilizados habitualmente para cartografiar grandes áreas, los escáneres LiDAR aerotransportados se montan en drones o aeronaves para capturar datos de alta resolución destinados a la cartografía topográfica a gran escala. Es ideal para estudiar terrenos, bosques y paisajes.
• LiDAR terrestre: Este tipo de datos LiDAR se recopila a partir de sensores montados en vehículos o plataformas fijas para aplicaciones como la supervisión de infraestructuras, la construcción y la cartografía de interiores. Proporciona datos muy detallados de áreas más pequeñas y localizadas, lo que lo hace útil para tareas como la planificación urbana y la inspección de estructuras específicas.

Una aplicación de gran impacto de los datos LiDAR se encuentra en los autonomous vehicles, donde desempeñan un papel fundamental en tareas como la detección de carriles, la prevención de colisiones y la identificación de objetos cercanos. LiDAR genera mapas 3D detallados y en tiempo real del entorno, lo que permite al vehículo ver los objetos, calcular su distancia y navegar de forma segura.

Fig 2. La tecnología LiDAR permite a los vehículos autónomos cartografiar la profundidad y detectar objetos.

Uso de datos térmicos e infrarrojos en aplicaciones de IA#

Las imágenes RGB capturan lo que vemos en el espectro de luz visible; sin embargo, otras tecnologías de imagen, como la térmica y la infrarroja, van más allá. La imagen infrarroja captura la luz infrarroja emitida o reflejada por los objetos, lo que la hace útil en condiciones de poca luz.

La termografía, por el contrario, detecta el calor emitido por los objetos y muestra las diferencias de temperatura, lo que le permite funcionar en total oscuridad o a través de humo, niebla y otras obstrucciones. Este tipo de datos es especialmente útil para la vigilancia y la detección de problemas, sobre todo en sectores donde los cambios de temperatura pueden indicar posibles fallos.

Un ejemplo interesante es el uso de la termografía para vigilar electrical components en busca de indicios de sobrecalentamiento. Mediante la detección de diferencias de temperatura, las cámaras térmicas pueden identificar problemas antes de que provoquen fallos en los equipos, incendios o daños costosos.

Fig 3. Un ejemplo de termografía utilizada para vigilar componentes eléctricos.

Del mismo modo, las imágenes infrarrojas pueden ayudar a detectar fugas en tuberías o aislamientos identificando las diferencias de temperatura que indican escapes de gases o fluidos, lo cual es crucial para prevenir situaciones peligrosas y mejorar la eficiencia energética.

Imágenes multiespectrales e hiperespectrales en IA#

Mientras que las imágenes infrarrojas y térmicas capturan aspectos específicos del espectro electromagnético, la imagen multiespectral recopila luz de unos pocos rangos de longitud de onda seleccionados, cada uno elegido para un propósito específico, como detectar vegetación sana o identificar materiales de superficie.

La imagen hiperespectral va un paso más allá al capturar luz a través de cientos de rangos de longitud de onda muy estrechos y continuos. Esto proporciona una firma lumínica detallada para cada píxel de la imagen, ofreciendo una comprensión mucho más profunda de cualquier material que se esté observando.

Fig 4. Comparación entre la imagen multiespectral y la hiperespectral.

Tanto las imágenes multiespectrales como las hiperespectrales utilizan sensores y filtros especiales para capturar luz a diferentes longitudes de onda. Los datos se organizan entonces en una estructura 3D llamada cubo espectral, donde cada capa representa una longitud de onda diferente.

Los modelos de IA pueden analizar estos datos para detectar características que las cámaras normales o el ojo humano no pueden ver. Por ejemplo, en el plant phenotyping, la imagen hiperespectral se puede usar para supervisar la salud y el crecimiento de las plantas mediante la detección de cambios sutiles en sus hojas o tallos, como deficiencias de nutrientes o estrés. Esto ayuda a los investigadores a evaluar la salud de las plantas y optimizar las prácticas agrícolas sin necesidad de métodos invasivos.

Análisis de imágenes de radar y sonar mediante IA#

Las imágenes de radar y sonar son tecnologías que detectan y cartografían objetos enviando señales y analizando sus reflejos, de forma similar al LiDAR. A diferencia de las imágenes RGB, que dependen de las ondas luminosas para capturar información visual, el radar utiliza ondas electromagnéticas, normalmente ondas de radio, mientras que el sonar utiliza ondas sonoras. Tanto los sistemas de radar como los de sonar emiten pulsos y miden el tiempo que tarda la señal en rebotar en un objeto, proporcionando información sobre su distancia, tamaño y velocidad.

Las imágenes de radar son especialmente útiles cuando la visibilidad es escasa, como en caso de niebla, lluvia o durante la noche. Como no dependen de la luz, pueden detectar aviones, vehículos o terrenos en total oscuridad. Esto hace que el radar sea una opción fiable en la aviación, la vigilancia meteorológica y la navegación autónoma.

En comparación, la imagen por sónar se utiliza habitualmente en entornos subacuáticos donde la luz no puede llegar. Utiliza ondas sonoras que viajan a través del agua y rebotan en los objetos sumergidos, lo que permite la detección de submarinos, la cartografía de los suelos oceánicos y la ejecución de misiones de rescate submarino. Los avances en computer vision están permitiendo ahora mejorar aún más la underwater detection combinando los datos del sónar con un análisis inteligente para mejorar la detección y la toma de decisiones.

Fig 5. Cómo un sistema SONAR utiliza pulsos de ultrasonido para medir la profundidad del mar. (Fuente: bbc.co.uk)

Datos visuales sintéticos y simulados para el entrenamiento de modelos de IA#

Hasta ahora, los diferentes tipos de datos que hemos analizado son aquellos que se pueden recopilar del mundo real. Sin embargo, tanto los datos visuales sintéticos como los simulados son tipos de contenido artificial. Los datos sintéticos se generan desde cero mediante 3D modeling o IA generativa para producir imágenes o vídeos de aspecto realista.

Fig 6. Una muestra de imágenes generadas sintéticamente.

Los datos simulados son similares, pero implican la creación de entornos virtuales que replican cómo se comporta el mundo físico, incluida la reflexión de la luz, la formación de sombras y el movimiento de los objetos. Aunque todos los datos visuales simulados son sintéticos, no todos los datos sintéticos son simulados. La diferencia clave es que los datos simulados replican un comportamiento realista, no solo el aspecto.

Estos tipos de datos son útiles para entrenar computer vision models, especialmente cuando los datos del mundo real son difíciles de recopilar o cuando es necesario simular situaciones específicas y poco frecuentes. Los desarrolladores pueden crear escenas completas, elegir los tipos de objetos, las posiciones y la iluminación, y añadir automáticamente etiquetas como cuadros delimitadores para el entrenamiento. Esto ayuda a construir conjuntos de datos grandes y diversos rápidamente, sin necesidad de fotos reales o etiquetado manual, lo que puede ser costoso y requerir mucho tiempo.

Por ejemplo, en el ámbito sanitario, los datos sintéticos pueden utilizarse para entrenar modelos que segmenten células de cáncer de mama, donde recopilar y etiquetar grandes conjuntos de datos de imágenes reales resulta difícil. Los datos sintéticos y simulados ofrecen flexibilidad y control, cubriendo los vacíos donde los datos visuales del mundo real son limitados.

Cómo elegir el tipo de datos visuales adecuado para tu aplicación de IA#

Ahora que hemos visto cómo funcionan los distintos tipos de datos visuales y qué pueden hacer, analicemos más detenidamente qué tipos de datos son los mejores para tareas específicas:

• Imágenes RGB: Es perfecto para tareas generales de computer vision como la image classification y la detección de objetos. Captura el color y la textura, pero tiene limitaciones en condiciones difíciles como poca luz o visibilidad reducida.
• Imágenes LiDAR: Este tipo de imagen ofrece una cartografía 3D de alta precisión mediante pulsos láser. Es ideal para aplicaciones que requieren mediciones precisas de la distancia, como la robótica, los vehículos autónomos y la inspección de infraestructuras.
• Termografía: Como puede detectar diferencias de temperatura, es útil en condiciones de baja visibilidad, como la vigilancia nocturna, la extinción de incendios o la detección de fugas de calor en maquinaria y edificios.
• Imágenes multiespectrales e hiperespectrales: Son útiles para tareas que requieren un análisis detallado de materiales, como la monitorización agrícola, el control de calidad farmacéutico o la teledetección. Estos métodos proporcionan una visión más profunda al capturar datos en un amplio rango de longitudes de onda más allá de la luz visible.
• Imágenes de radar y sonar: Se prefieren en entornos de baja visibilidad. El radar utiliza ondas de radio y resulta útil en aviación y navegación, mientras que el sonar utiliza ondas sonoras para operar en la detección submarina.
• Datos visuales sintéticos y simulados: Es ideal para training AI models cuando los datos del mundo real son limitados, no están disponibles o son difíciles de etiquetar. Estos elementos visuales artificiales ayudan a crear diversos conjuntos de datos para escenarios complejos, como eventos poco frecuentes o condiciones críticas para la seguridad.

A veces, un solo tipo de datos puede no proporcionar suficiente precisión o contexto en situaciones del mundo real. Aquí es donde la fusión de sensores multimodales se vuelve clave. Combinando RGB con otros tipos de datos como los térmicos, de profundidad o LiDAR, los sistemas pueden superar las limitaciones individuales, mejorando la fiabilidad y la adaptabilidad.

Por ejemplo, en la warehouse automation, el uso de RGB para el reconocimiento de objetos, profundidad para la medición de distancias y termografía para detectar equipos sobrecalentados hace que las operaciones sean más eficientes y seguras. En última instancia, los mejores resultados provienen de seleccionar o combinar tipos de datos según las necesidades específicas de tu aplicación.

Conclusiones clave#

Al crear modelos de IA de visión, elegir el tipo correcto de datos visuales es crucial. Tareas como la detección de objetos, la segmentación y el seguimiento del movimiento dependen no solo de los algoritmos, sino también de la calidad de los datos de entrada. Unos conjuntos de datos limpios, diversos y precisos ayudan a reducir el ruido y a mejorar el rendimiento.

Al combinar tipos de datos como RGB, profundidad, térmicos y LiDAR, los sistemas de IA obtienen una visión más completa del entorno, lo que los hace más fiables en diversas condiciones. A medida que la tecnología siga mejorando, probablemente allanará el camino para que la IA de visión sea más rápida, adaptable y eficaz en todos los sectores.

Únete a nuestra community y explora nuestro GitHub repository para obtener más información sobre computer vision. Descubre diversas aplicaciones relacionadas con la AI in healthcare y la computer vision in retail en nuestras páginas de soluciones. Consulta nuestras licensing options para empezar a trabajar con la visión de IA.