Comprender la detección de objetos en 3D y sus aplicaciones

A lo largo de los años, la detección de objetos ha avanzado cada vez más. Ha pasado de reconocer objetos en imágenes bidimensionales (2D) sencillas a identificarlos en el complejo mundo tridimensional (3D) que nos rodea. Las primeras técnicas, como la coincidencia de plantillas, que consistía en encontrar objetos comparando partes de una imagen con imágenes de referencia almacenadas, se desarrollaron en la década de 1970 y sentaron las bases de la detección de objetos en 2D. En la década de 1990, la aparición de tecnologías como LiDAR (detección y medición de distancias por luz) facilitó la captura de información de profundidad y espacial por parte de los sistemas. Hoy en día, los métodos de fusión multimodal, que combinan imágenes 2D con datos 3D, han allanado el camino para crear sistemas de detección de objetos en 3D de gran precisión.

Fig. 1. Ejemplo de detección de objetos 3D.

En este artículo, veremos qué es la detección de objetos 3D, cómo funciona y en qué se diferencia de la detección de objetos 2D. También hablaremos de algunas aplicaciones de la detección de objetos 3D.

Introducción a la detección de objetos 2D#

Antes de echar un vistazo a la detección de objetos 3D, veamos cómo funciona la detección de objetos 2D. La detección de objetos 2D es una técnica de visión artificial que permite a los ordenadores reconocer y localizar objetos en imágenes planas y bidimensionales. Funciona analizando la posición horizontal (X) y vertical (Y) de un objeto en una imagen. Por ejemplo, si pasas a un modelo de detección de objetos 2D como Ultralytics YOLOv8 una imagen de jugadores en un campo de fútbol, el modelo puede analizar la imagen y dibujar cuadros delimitadores alrededor de cada objeto (en este caso, los jugadores), identificando con precisión su ubicación.

Fig. 2. Detección de jugadores en un campo de fútbol mediante la detección de objetos 2D con YOLOv8.

Sin embargo, la detección de objetos 2D tiene sus limitaciones. Como solo tiene en cuenta dos dimensiones, no comprende la profundidad. Esto puede dificultar la estimación de lo lejos que está un objeto o de su tamaño. Por ejemplo, un objeto grande que está lejos puede parecer del mismo tamaño que otro más pequeño que está cerca, lo que puede resultar confuso. La falta de información sobre la profundidad puede provocar imprecisiones en aplicaciones como la robótica o la realidad aumentada, donde es necesario conocer el tamaño y la distancia reales de los objetos. Por eso se necesita la detección de objetos 3D.

Adquirir conciencia espacial mediante la detección de objetos 3D#

La detección de objetos 3D es una técnica avanzada de visión artificial que permite a los ordenadores identificar objetos en un espacio tridimensional y comprender mucho mejor el mundo que los rodea. A diferencia de la detección de objetos 2D, la detección de objetos 3D también tiene en cuenta los datos de profundidad. La información sobre la profundidad aporta más detalles, como dónde está un objeto, qué tamaño tiene, a qué distancia se encuentra y cómo está situado en el mundo real en 3D. Curiosamente, la detección 3D también gestiona mejor las situaciones en las que un objeto oculta parcialmente a otro (oclusiones) y sigue siendo fiable aunque cambie la perspectiva. Es una herramienta potente para los casos de uso que requieren una percepción espacial precisa.

La detección de objetos 3D es fundamental para aplicaciones como los coches autónomos, la robótica y los sistemas de realidad aumentada. Funciona mediante sensores como LiDAR o cámaras estereoscópicas. Estos sensores crean mapas 3D detallados del entorno, conocidos como nubes de puntos o mapas de profundidad. A continuación, se analizan esos mapas para detectar objetos en un entorno 3D.

Fig. 3. Detección de objetos 3D de un coche.

Hay muchos modelos avanzados de visión artificial diseñados específicamente para trabajar con datos 3D, como las nubes de puntos. Por ejemplo, VoteNet es un modelo que utiliza un método llamado votación de Hough para predecir dónde está el centro de un objeto en una nube de puntos, lo que facilita la detección y clasificación precisas de los objetos. Del mismo modo, VoxelNet es un modelo que convierte las nubes de puntos en una cuadrícula de pequeños cubos llamados vóxeles para simplificar el análisis de los datos.

Diferencias clave entre la detección de objetos 2D y 3D#

Ahora que ya conocemos la detección de objetos 2D y 3D, veamos sus principales diferencias. La detección de objetos 3D es más compleja que la detección de objetos 2D porque trabaja con nubes de puntos. El análisis de datos 3D, como las nubes de puntos generadas por LiDAR, requiere mucha más memoria y potencia de cálculo. Otra diferencia es la complejidad de los algoritmos implicados. Los modelos de detección de objetos 3D deben ser más complejos para poder gestionar la estimación de profundidad, el análisis de formas 3D y el análisis de la orientación de los objetos.

Fig. 4. Detección de objetos 2D frente a 3D.

Los modelos de detección de objetos 3D requieren más trabajo matemático y computacional que los modelos de detección de objetos 2D. Procesar datos 3D en tiempo real puede ser complicado sin hardware avanzado y optimizaciones. Sin embargo, estas diferencias hacen que la detección de objetos 3D sea más adecuada para aplicaciones que requieren una mejor comprensión espacial. Por otro lado, la detección de objetos 2D se suele utilizar en aplicaciones más sencillas, como los sistemas de seguridad que necesitan reconocimiento de imágenes o análisis de vídeo.

Ventajas e inconvenientes de la detección de objetos 3D#

La detección de objetos 3D ofrece varias ventajas que la distinguen de los métodos tradicionales de detección de objetos 2D. Al captar las tres dimensiones de un objeto, proporciona detalles precisos sobre su ubicación, tamaño y orientación con respecto al mundo real. Esta precisión es fundamental para aplicaciones como los coches autónomos, donde conocer la posición exacta de los obstáculos es vital para la seguridad. Otra ventaja de utilizar la detección de objetos 3D es que puede ayudarte a comprender mucho mejor cómo se relacionan entre sí los distintos objetos en el espacio 3D.

Fig. 5. Resolución de oclusiones con detección de objetos 3D.

A pesar de sus muchas ventajas, la detección de objetos 3D también tiene limitaciones. Estos son algunos de los principales retos que debes tener en cuenta:

• Mayores costes de cálculo: Trabajar con datos 3D requiere recursos de hardware más potentes, y el coste puede aumentar rápidamente.
• Requisitos de datos más complejos: la detección de objetos 3D suele depender de sensores avanzados como LiDAR, que pueden ser caros y no estar disponibles en todos los entornos.
• Recopilación y procesamiento de datos: Los complejos requisitos de datos de la detección de objetos 3D hacen que recopilar, preparar y procesar los grandes conjuntos de datos necesarios para entrenar los modelos requiera mucho tiempo y recursos.
• Mayor complejidad del modelo: Los modelos utilizados para la detección de objetos 3D suelen ser más complejos y tener más capas y parámetros que los empleados para la detección de objetos 2D.

Aplicaciones de la detección de objetos 3D#

Ahora que hemos hablado de las ventajas y los inconvenientes de la detección de objetos 3D, veamos más de cerca algunos de sus casos de uso.

Vehículos autónomos#

En los coches autónomos, la detección de objetos 3D es fundamental para percibir el entorno del vehículo. Permite detectar peatones, otros coches y obstáculos. También proporciona información precisa sobre su posición, tamaño y orientación en el mundo real. Los datos detallados obtenidos mediante los sistemas de detección de objetos 3D ayudan a que los pasajeros disfruten de una experiencia mucho más segura en un coche autónomo.

Fig. 6. Uso de la detección de objetos 3D en vehículos autónomos. (fuente: towardsdatascience.com)

Robótica#

Los sistemas robóticos utilizan la detección de objetos 3D en varias aplicaciones. La emplean para desplazarse por distintos tipos de entornos, recoger y colocar objetos e interactuar con lo que los rodea. Estos casos de uso son especialmente importantes en entornos dinámicos como los almacenes o las instalaciones de fabricación, donde los robots deben comprender las distribuciones tridimensionales para funcionar de forma eficaz.

Fig. 7. Un robot móvil que utiliza detección de objetos 3D.

Realidad aumentada y realidad virtual (AR/VR)#

Otro caso de uso interesante de la detección de objetos 3D son las aplicaciones de realidad aumentada y virtual. La detección de objetos 3D se utiliza para colocar objetos virtuales con precisión en un entorno de VR o AR realista. Esto mejora la experiencia general del usuario con estas tecnologías. También permite que los sistemas VR/AR reconozcan y sigan objetos físicos, creando entornos inmersivos en los que los elementos digitales y físicos interactúan de forma natural. Por ejemplo, los jugadores que utilizan cascos de AR/VR pueden disfrutar de una experiencia mucho más inmersiva gracias a la detección de objetos 3D. Esta hace que las interacciones con objetos virtuales en espacios 3D resulten mucho más atractivas.

Fig. 8. Ejemplo del uso del reconocimiento de objetos 3D en una aplicación de AR.

Reflexiones finales sobre la detección de objetos 3D#

La detección de objetos 3D permite que los sistemas comprendan la profundidad y el espacio con mayor eficacia que los métodos de detección de objetos 2D. Desempeña un papel clave en aplicaciones como los coches autónomos, los robots y la AR/VR, donde es importante conocer el tamaño, la distancia y la posición de un objeto. Aunque la detección de objetos 3D requiere más potencia de procesamiento y datos más complejos, su capacidad para proporcionar información precisa y detallada la convierte en una herramienta muy valiosa en muchos campos. A medida que avance la tecnología, probablemente mejorarán la eficiencia y la accesibilidad de la detección de objetos 3D, lo que allanará el camino para una adopción y una innovación aún más amplias en distintos sectores.

Mantente al día de las últimas novedades en IA en nuestra comunidad. Visita nuestro repositorio de GitHub para ver cómo usamos la IA para crear soluciones en sectores como la fabricación y la sanidad.