La visión artificial guía la toma de decisiones de los agentes de IA visual

Todos los sectores, desde la fabricación hasta el comercio minorista, se enfrentan a sus propios retos en los procesos, y encontrar formas innovadoras de resolverlos siempre ha sido fundamental para dirigir empresas de éxito. Últimamente, los agentes de IA se han convertido en una solución popular en muchos ámbitos. Estos sistemas no se limitan a analizar datos: también pueden actuar.

Por ejemplo, los agentes de IA en la fabricación pueden detectar defectos en tiempo real e iniciar automáticamente medidas de control de calidad para que la producción siga funcionando sin problemas. Del mismo modo, en la logística y el comercio minorista, pueden supervisar varias ubicaciones mediante sistemas de vigilancia inteligentes y alertar al instante a los equipos cuando detectan actividades inusuales.

A medida que esta tendencia crece, los agentes de IA están transformando activamente sectores de todo el mundo. El mercado mundial de agentes de IA alcanzó los 5.100 millones de dólares en 2024 y se prevé que llegue a los 47.100 millones en 2030.

Fig. 1. Vista del tamaño del mercado mundial de agentes de IA.

Una de las tecnologías clave que impulsan estos avances es la visión artificial. Al permitir que las máquinas procesen e interpreten datos visuales, Vision AI hace posible que los agentes de IA realicen tareas de visión artificial, como la detección de objetos, la segmentación de instancias y el seguimiento de objetos en tiempo real con gran precisión. Conecta lo que las máquinas ven con la forma en que toman decisiones, por lo que es un componente fundamental de muchas soluciones basadas en IA.

En este artículo veremos qué son los agentes de IA y cómo se relacionan con la visión artificial. También hablaremos de los distintos tipos de agentes de IA y de cómo se utilizan en aplicaciones basadas en visión.

¿Qué son los agentes de IA?#

Antes de profundizar en los agentes de IA basados en visión, dedica un momento a entender los agentes de IA en general y descubre lo versátiles que pueden ser estos sistemas.

Un agente de IA es un sistema inteligente que puede comprender y responder a tareas o preguntas sin necesitar la ayuda de una persona. Muchos agentes de IA utilizan el aprendizaje automático y el procesamiento del lenguaje natural (NLP) para realizar una amplia variedad de tareas, desde responder preguntas básicas hasta gestionar procesos complejos.

Algunos agentes de IA incluso pueden aprender y mejorar con el tiempo, a diferencia de los sistemas de IA tradicionales, que dependen de la intervención humana para cada actualización. Por eso, los agentes de IA se están convirtiendo rápidamente en una parte esencial de la IA. Pueden automatizar tareas, tomar decisiones e interactuar con su entorno sin necesitar supervisión constante. Son especialmente útiles para gestionar tareas repetitivas y que consumen mucho tiempo.

Por ejemplo, puedes encontrar agentes de IA en sectores como la atención al cliente y la hostelería. En la atención al cliente, se utilizan para tramitar reembolsos y ofrecer recomendaciones de productos personalizadas. Por su parte, en el sector hostelero pueden ayudar al personal del hotel a gestionar las solicitudes de los huéspedes, agilizar el servicio de habitaciones y sugerirles lugares de interés cercanos. Estos ejemplos muestran cómo los agentes de IA agilizan y hacen más eficientes los procesos cotidianos.

Cómo funcionan los agentes de IA basados en visión#

A continuación, echemos un vistazo rápido a cómo funcionan los agentes de IA. Aunque cada agente de IA es único y está diseñado para tareas específicas, todos comparten los mismos tres pasos principales: percepción, toma de decisiones y acción.

En primer lugar, durante la fase de percepción, los agentes de IA recopilan información de distintas fuentes para entender qué está pasando. A continuación, llega la toma de decisiones. A partir de la información recopilada, utilizan sus algoritmos para analizar la situación y decidir cuál es la mejor forma de actuar. Por último, está la acción. Una vez tomada una decisión, la ejecutan, ya sea respondiendo a una pregunta, completando una tarea o señalando un problema para que lo gestione una persona.

Puede parecer sencillo, pero, según el tipo de agente de IA, a menudo ocurren muchas cosas entre bastidores para que estos pasos funcionen. Desde analizar datos complejos hasta utilizar modelos avanzados de aprendizaje automático, cada agente de IA está diseñado para gestionar tareas concretas a su manera.

Por ejemplo, mientras que muchos agentes de IA se centran en procesar el lenguaje mediante NLP, otros, conocidos como agentes de IA basados en visión, integran visión artificial para procesar datos visuales. Al utilizar modelos avanzados de visión artificial como Ultralytics YOLO11, los agentes de IA basados en visión pueden realizar análisis de imágenes más precisos.

Fig. 2. Ejemplo de recuento de manzanas en una imagen con YOLO11.

Agentes de IA basados en visión en coches autónomos#

Veamos cómo funcionan los agentes de IA basados en visión siguiendo los tres pasos principales descritos anteriormente, con los coches autónomos como ejemplo:

• Percepción: Los agentes de IA visual en coches autónomos recopilan datos visuales de las cámaras y los sensores instalados en el vehículo. Estos datos incluyen imágenes y vídeos del entorno, como otros vehículos, peatones, semáforos y señales de tráfico.
• Toma de decisiones: El agente de IA procesa estos datos visuales con modelos como Ultralytics YOLO11. Identifica objetos como coches y peatones, detecta obstáculos o cambios bruscos de carril y reconoce patrones como el flujo del tráfico y el estado de los semáforos. Esto ayuda al coche a entender las condiciones de la carretera en tiempo real.
• Acción: A partir de su análisis, el agente de IA actúa, por ejemplo, girando para evitar un obstáculo, ajustando la velocidad o deteniéndose ante un semáforo en rojo. Estas decisiones se toman rápidamente para garantizar una conducción segura y eficiente.

Los coches autónomos de Waymo son un ejemplo conocido de esta tecnología. Utilizan agentes de IA visual para comprender el entorno, tomar decisiones en tiempo real y circular por las carreteras de forma segura y eficiente, sin intervención humana.

Fig. 3. Taxi autónomo de Waymo basado en agentes de IA.

Tipos de agentes de IA basados en visión#

Ahora que hemos visto cómo funcionan los agentes de IA y cómo utilizan la visión artificial, veamos los distintos tipos de agentes de IA. Cada tipo está diseñado para tareas concretas, desde acciones sencillas hasta procesos más complejos de toma de decisiones y aprendizaje.

Agentes reflejos simples#

Los agentes reflejos simples son el tipo más básico de agente de IA. Responden a entradas específicas con acciones predefinidas, basándose únicamente en la situación actual y sin tener en cuenta el historial ni los resultados futuros. Estos agentes suelen utilizar reglas sencillas de «si-entonces» para guiar su comportamiento.

En el análisis de imágenes, se podría programar un agente reflejo simple para detectar un color concreto (como el rojo) y activar una acción inmediata (por ejemplo, resaltar o contar los objetos rojos). Aunque puede funcionar en tareas sencillas, no es suficiente en entornos más complejos, ya que el agente no aprende ni se adapta a partir de experiencias anteriores.

Agentes reflejos basados en modelos#

Los agentes reflejos basados en modelos son más avanzados que los agentes reflejos simples porque utilizan un modelo interno de su entorno para entender mejor la situación. Este modelo les permite gestionar información que falta o está incompleta y tomar decisiones más fundamentadas.

Tomemos como ejemplo los sistemas de cámaras de seguridad con IA. Los agentes de IA visual integrados en ellos pueden utilizar la visión artificial para analizar lo que ocurre en tiempo real. Pueden comparar movimientos y acciones con un modelo del comportamiento normal, lo que les ayuda a detectar actividades inusuales, como hurtos en tiendas, y a señalar posibles amenazas para la seguridad con mayor precisión.

Fig. 4. Ejemplo de detección de robos mediante visión artificial.

Agentes basados en utilidad#

Piensa en un dron basado en utilidad que se utiliza para supervisar cultivos. Ajusta su ruta de vuelo para cubrir más terreno y evitar obstáculos, y elige la mejor ruta para la tarea. Esto significa que el dron evalúa varias acciones posibles, como qué zona priorizar o cómo desplazarse de forma eficiente, y escoge la que maximiza su eficacia.

De forma similar, los agentes basados en utilidad están diseñados para elegir la mejor acción entre varias opciones y obtener el mayor beneficio o el mejor resultado. Los agentes de IA basados en visión diseñados para ello pueden procesar y analizar distintas entradas visuales, como imágenes o datos de sensores, y seleccionar el resultado más útil según unos criterios predefinidos.

Fig. 5. Los drones basados en utilidad pueden utilizarse para supervisar cultivos.

Agentes basados en objetivos#

Los agentes basados en objetivos son similares a los agentes basados en utilidad porque ambos buscan alcanzar objetivos concretos. Sin embargo, los agentes basados en objetivos se centran exclusivamente en las acciones que los acercan al objetivo definido. Evalúan cada acción según cómo contribuye a alcanzar su meta, sin sopesar otros factores como el valor global o las compensaciones.

Por ejemplo, un coche autónomo actúa como agente basado en objetivos cuando su objetivo es llegar a un destino. Procesa datos de cámaras con IA y sensores para tomar decisiones como evitar obstáculos, obedecer los semáforos y elegir los giros adecuados para no desviarse de la ruta. Estas decisiones se guían exclusivamente por su contribución a llegar al destino de forma segura y eficiente. A diferencia de los agentes basados en utilidad, los agentes basados en objetivos se centran únicamente en alcanzar la meta, sin tener en cuenta criterios adicionales como la eficiencia o la optimización.

Fig. 6. Coche autónomo que utiliza visión artificial para identificar objetos de su entorno.

Agentes de aprendizaje#

Si conoces la visión artificial, puede que hayas oído hablar del ajuste fino: un proceso en el que los modelos mejoran aprendiendo de nuevos datos. Los agentes de aprendizaje funcionan de forma similar y se adaptan y mejoran con el tiempo a medida que adquieren experiencia. En aplicaciones como el control de calidad basado en visión, estos agentes detectan mejor los defectos con cada inspección. Esta capacidad para perfeccionar su rendimiento es especialmente importante en ámbitos como la aviación, donde la seguridad y la precisión son fundamentales.

Agentes jerárquicos#

Los agentes jerárquicos simplifican las tareas complejas al dividirlas en pasos más pequeños y manejables. Un agente de nivel superior supervisa el proceso global y toma decisiones estratégicas, mientras que los agentes de nivel inferior se ocupan de tareas específicas. Son más eficientes en operaciones que implican varios pasos y una ejecución detallada.

Por ejemplo, en un almacén automatizado, un robot de nivel superior podría planificar el proceso de clasificación y decidir qué artículos deben ir a cada zona. Al mismo tiempo, los robots de nivel inferior se centrarían en identificar los artículos mediante visión artificial, analizar características como el tamaño, la forma o las etiquetas y colocarlos en los contenedores correctos. Una división clara de las responsabilidades ayuda a que el sistema funcione sin problemas.

Fig. 7. Ejemplo de un agente robótico de IA que clasifica paquetes.

Cómo empezar a crear un agente de IA basado en visión#

El núcleo de un agente de IA con capacidades de visión es un modelo de visión artificial, como Ultralytics YOLO11 o su sucesor, Ultralytics YOLO26. Estos modelos son conocidos por su eficiencia y precisión en tiempo real, lo que los hace idóneos para tareas de visión artificial.

Estos son los distintos procesos necesarios para crear tu propio agente de IA con las capacidades de Ultralytics YOLO11:

• Prepara un conjunto de datos: Recopila y preprocesa imágenes etiquetadas que sean relevantes para la tarea que realizará tu agente de IA.
• Entrena el modelo con tus propios datos: Entrena Ultralytics YOLO11 específicamente con tu conjunto de datos para mejorar su precisión y rendimiento en tu aplicación concreta.
• Intégralo con un marco de toma de decisiones: Conecta el modelo entrenado a un sistema que permita al agente de IA tomar decisiones a partir de entradas visuales, como Ultralytics Agents, que convierte las predicciones en acciones automatizadas.
• Prueba y perfecciona: implementa el agente de IA, prueba su rendimiento, recopila comentarios y ajusta el modelo para mejorar su precisión y fiabilidad.

Conclusiones clave#

Los agentes de IA integrados con visión artificial, es decir, los agentes de IA basados en visión, están transformando distintos sectores al automatizar tareas, agilizar procesos y mejorar la toma de decisiones. Desde ciudades inteligentes que regulan el tráfico hasta sistemas de seguridad que utilizan reconocimiento facial, estos agentes aportan nuevas soluciones a problemas habituales.

También pueden seguir aprendiendo y mejorando con el tiempo, lo que los hace útiles en entornos cambiantes. Con herramientas como Ultralytics YOLO11, crear y utilizar estos agentes de IA es más fácil y permite desarrollar soluciones más inteligentes y eficientes.

Únete a nuestra comunidad y consulta nuestro repositorio de GitHub para aprender sobre IA. Descubre distintas aplicaciones de la visión artificial en la asistencia sanitaria y la IA en la agricultura en nuestras páginas de soluciones. ¡Echa un vistazo a las opciones de licencia disponibles para empezar!