La IA generativa está cambiando el rumbo de la visión artificial

La AI generativa es una rama de la inteligencia artificial (AI) que crea contenido nuevo, como imágenes, texto o audio, aprendiendo patrones a partir de datos existentes. Gracias a los avances recientes, ahora puede generar contenido muy realista que a menudo imita la creatividad humana.

Sin embargo, el impacto de la IA generativa va más allá de la mera creación de contenido. A medida que los modelos de visión artificial en tiempo real, como los modelos Ultralytics YOLO, siguen evolucionando, la IA generativa también está redefiniendo el procesamiento y el aumento de datos visuales, lo que abre camino a aplicaciones innovadoras en situaciones reales.

Este nuevo cambio tecnológico fue un tema de conversación interesante en YOLO Vision 2024 (YV24), un evento híbrido anual organizado por Ultralytics. YV24 reunió a entusiastas de la AI y líderes del sector para debatir los últimos avances en visión artificial. El evento se centró en la innovación, la eficiencia y el futuro de las soluciones de AI en tiempo real.

Uno de los momentos más destacados del evento fue un debate sobre YOLO en la era de la IA generativa. Participaron Glenn Jocher, fundador y director ejecutivo de Ultralytics; Jing Qiu, ingeniero sénior de aprendizaje automático en Ultralytics; y Ao Wang, de la Universidad de Tsinghua. Analizaron cómo influye la IA generativa en la visión artificial y cuáles son los desafíos de crear modelos de IA prácticos.

En este artículo repasaremos las principales conclusiones del debate y analizaremos más detenidamente cómo está transformando la IA generativa la Vision AI.

Desarrollo de los modelos Ultralytics YOLO#

Además de Glenn Jocher, muchos ingenieros cualificados han desempeñado un papel fundamental en el desarrollo de los modelos Ultralytics YOLO. Uno de ellos, Jing Qiu, contó cómo empezó inesperadamente a trabajar con YOLO. Explicó que su pasión por la IA comenzó durante sus años universitarios. Dedicó mucho tiempo a explorar y aprender sobre este campo. Jing Qiu recordó cómo conectó con Glenn Jocher en GitHub y se implicó en varios proyectos de IA.

Como complemento a lo que dijo Jing Qiu, Glenn Jocher describió GitHub como «una forma increíble de compartir, en la que personas que nunca se han conocido se unen para ayudarse y contribuir al trabajo de los demás. Es una comunidad estupenda y una manera realmente fantástica de iniciarse en la IA».

Fig. 1. Glenn Jocher y Jing Qiu hablando en el escenario de YV24.

El interés de Jing Qiu por la IA y su trabajo en Ultralytics YOLOv5 ayudaron a perfeccionar el modelo. Más adelante, desempeñó un papel clave en el desarrollo de Ultralytics YOLOv8, que introdujo nuevas mejoras. Lo describió como un viaje increíble. Actualmente, Jing Qiu sigue mejorando y trabajando en modelos como Ultralytics YOLO11.

YOLOv10: optimizado para el rendimiento en el mundo real#

Ao Wang se unió al debate a distancia desde China y se presentó como estudiante de doctorado. Al principio estudió ingeniería de software, pero su pasión por la IA le llevó a orientarse hacia la visión artificial y el aprendizaje profundo.

Conoció por primera vez el famoso modelo YOLO mientras experimentaba con distintas técnicas y modelos de AI. Le impresionaron su velocidad y precisión, lo que le animó a profundizar en tareas de visión artificial como la detección de objetos. Recientemente, Ao Wang contribuyó a YOLOv10, una versión reciente del modelo YOLO. Su investigación se centró en optimizar el modelo para hacerlo más rápido y preciso.

La diferencia clave entre la IA generativa y Vision AI#

A continuación, los participantes empezaron a hablar de la IA generativa, y Jing Qiu señaló que la IA generativa y Vision AI tienen objetivos muy distintos. La IA generativa crea o genera elementos como textos, imágenes y vídeos, mientras que Vision AI analiza lo que ya existe, principalmente imágenes.

Glenn Jocher destacó que el tamaño también es una gran diferencia. Los modelos de IA generativa son enormes y suelen contener miles de millones de parámetros, es decir, ajustes internos que ayudan al modelo a aprender a partir de los datos. Los modelos de visión artificial son mucho más pequeños. Dijo: «El modelo YOLO más pequeño que tenemos es unas mil veces más pequeño que el LLM [modelo de lenguaje grande] más pequeño. Es decir, 3 millones de parámetros frente a 3.000 millones».

Fig. 2. Debate sobre la IA generativa y Vision AI en YV24.

Jing Qiu añadió que los procesos de entrenamiento y despliegue de la IA generativa y la visión artificial también son muy distintos. La IA generativa necesita servidores enormes y potentes para funcionar. En cambio, modelos como YOLO están diseñados para ser eficientes y pueden entrenarse y desplegarse en hardware estándar. Esto hace que los modelos Ultralytics YOLO sean más prácticos para su uso en el mundo real.

Aunque son distintos, estos dos campos empiezan a entrelazarse. Glenn Jocher explicó que la IA generativa está aportando nuevos avances a Vision AI y haciendo que los modelos sean más inteligentes y eficientes.

El impacto de la IA generativa en la visión artificial#

La IA generativa ha avanzado rápidamente, y estos avances están influyendo en muchos otros ámbitos de la inteligencia artificial, incluida la visión artificial. A continuación, repasemos algunas ideas fascinantes que se compartieron sobre este tema en el debate.

Los avances en hardware impulsan la innovación en IA#

Al principio del panel, Glenn Jocher explicó que las ideas del aprendizaje automático existen desde hace mucho tiempo, pero que los ordenadores no tenían suficiente potencia para ponerlas en práctica. Para hacer realidad las ideas de AI, hacía falta un hardware más potente.

La expansión de las GPU (unidades de procesamiento gráfico) en los últimos 20 años, gracias a sus capacidades de procesamiento paralelo, lo cambió todo. Permitieron entrenar modelos de IA mucho más rápido y de forma más eficiente, lo que impulsó el rápido desarrollo del aprendizaje profundo.

Hoy en día, los chips de IA, como las TPU (unidades de procesamiento tensorial), y las GPU optimizadas consumen menos energía y, al mismo tiempo, procesan modelos más grandes y complejos. Esto ha hecho que la IA sea más accesible y útil en aplicaciones del mundo real.

Con cada mejora del hardware, las aplicaciones de IA generativa y visión artificial ganan potencia. Estos avances hacen que la IA en tiempo real sea más rápida y eficiente, y esté lista para utilizarse en más sectores.

Cómo está influyendo la IA generativa en los modelos de detección de objetos#

Al preguntarle cómo influye la IA generativa en la visión artificial, Jing Qiu dijo que los transformers, modelos que ayudan a la IA a centrarse en las partes más importantes de una imagen, han cambiado la forma en que la IA entiende y procesa las imágenes. El primer gran avance fue DETR (transformador de detección), que aplicó este nuevo enfoque a la detección de objetos. Mejoró la precisión, pero tenía problemas de rendimiento que, en algunos casos, lo hacían más lento.

Para resolver este problema, los investigadores crearon modelos híbridos como RT-DETR. Estos modelos combinan redes neuronales convolucionales (CNN, modelos de aprendizaje profundo que aprenden y extraen automáticamente características de las imágenes) y transformadores, con lo que equilibran velocidad y precisión. Este enfoque aprovecha las ventajas de los transformadores y, al mismo tiempo, acelera la detección de objetos.

Curiosamente, YOLOv10 utiliza capas de atención basadas en transformadores (partes del modelo que actúan como un foco para resaltar las zonas más importantes de una imagen e ignorar los detalles menos relevantes) con el fin de mejorar su rendimiento.

Ao Wang también mencionó cómo está cambiando la IA generativa la forma de entrenar los modelos. Técnicas como el modelado de imágenes enmascaradas ayudan a la IA a aprender de las imágenes de forma más eficiente y reducen la necesidad de grandes conjuntos de datos etiquetados manualmente. Esto hace que el entrenamiento de visión artificial sea más rápido y requiera menos recursos.

El futuro de la IA generativa y Vision AI#

Otra idea clave que se debatió fue cómo podrían combinarse la IA generativa y Vision AI para crear modelos más capaces. Glenn Jocher explicó que, aunque estos dos enfoques tienen puntos fuertes distintos, combinarlos podría abrir nuevas posibilidades.

Por ejemplo, los modelos de AI visual como YOLO suelen dividir una imagen en una cuadrícula para identificar objetos. Este método basado en cuadrículas podría ayudar a los modelos de lenguaje a mejorar tanto su capacidad para localizar detalles como para describirlos, un reto al que se enfrentan muchos modelos de lenguaje hoy en día. En esencia, combinar estas técnicas podría dar lugar a sistemas que detecten con precisión y expliquen claramente lo que ven. Algunos modelos de visión y lenguaje ya pueden hacer ambas cosas, y la clasificación de modelos VLM registra su capacidad para detectar objetos.

Fig. 3. El futuro de la IA generativa y Vision AI. Imagen del autor.

Conclusiones clave#

La AI generativa y la visión artificial avanzan juntas. La AI generativa no solo crea imágenes y vídeos, sino que también mejora su análisis al aportar nuevas ideas que pueden aumentar la precisión y la eficiencia de los modelos de AI visual.

En esta charla del panel de YV24, Glenn Jocher, Jing Qiu y Ao Wang compartieron sus opiniones sobre cómo estas tecnologías están dando forma al futuro. Con un hardware de AI mejor, la AI generativa y la AI visual seguirán evolucionando y darán lugar a innovaciones aún mayores. Estos dos campos colaboran para crear una AI más inteligente, rápida y útil para la vida cotidiana.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para descubrir más sobre la IA visual. Echa un vistazo a nuestras opciones de licencia para poner en marcha tus proyectos de visión artificial. ¿Te interesan innovaciones como la IA en la fabricación o la visión artificial en la conducción autónoma? Visita nuestras páginas de soluciones para descubrir más.