Aprovechamiento del aprendizaje por refuerzo en proyectos de visión artificial

Una forma sencilla de explicar la inteligencia artificial (AI) es decir que se trata de un campo centrado en recrear cómo piensan y aprenden los seres humanos. De ahí surge la idea de las técnicas de aprendizaje en AI, que son distintos métodos que permiten a las máquinas mejorar su rendimiento con el tiempo, igual que las personas.

Anteriormente, hemos explorado técnicas clave de aprendizaje de AI, incluidos el aprendizaje supervisado, no supervisado, por refuerzo y por transferencia, y cómo cada una desempeña un papel importante a la hora de ayudar a los modelos de AI a procesar información y tomar decisiones.

Hoy analizaremos más detenidamente el aprendizaje por refuerzo, una técnica que enseña a los sistemas de AI a aprender mediante la experiencia, interactuando con un entorno y mejorando a partir de los comentarios recibidos. En concreto, exploraremos cómo se puede aplicar el aprendizaje por refuerzo a aplicaciones de visión por ordenador: sistemas que permiten a las máquinas interpretar y comprender la información visual del mundo.

La combinación de conceptos como el aprendizaje por refuerzo y la visión por ordenador está abriendo nuevas posibilidades muy interesantes y constituye un área de investigación activa. Permite a los sistemas de AI reconocer lo que ven y tomar decisiones fundamentadas basándose en esa información visual.

¿Qué es el aprendizaje por refuerzo?#

El aprendizaje por refuerzo es una rama del aprendizaje automático en la que un agente de AI aprende realizando acciones y recibiendo comentarios en forma de recompensas o penalizaciones. El objetivo es averiguar qué acciones conducen a los mejores resultados con el tiempo.

Puedes pensar en el aprendizaje por refuerzo como en adiestrar a un perro. Cuando un perro se sienta al recibir la orden, le das una golosina. Al cabo de un tiempo, el perro aprende que sentarse conduce a una recompensa. En el aprendizaje por refuerzo, el agente o modelo de AI es como el perro; el entorno es el mundo que lo rodea y la recompensa le ayuda a entender si ha actuado correctamente.

Esto es diferente del aprendizaje supervisado, en el que al modelo de AI se le muestran muchos ejemplos de las respuestas correctas. Por ejemplo, se le podría mostrar una imagen de un perro y decirle: «Esto es un perro».

El aprendizaje por refuerzo, en cambio, no depende de datos etiquetados. En su lugar, consiste en aprender probando distintas acciones y aprendiendo de los resultados, como al jugar a un juego y averiguar qué movimientos te ayudan a ganar.

Fig. 1. Aprendizaje por refuerzo frente a aprendizaje supervisado.

El aprendizaje por refuerzo es crucial para las tareas en las que las decisiones se toman paso a paso y cada elección cambia lo que sucede a continuación. Este tipo de aprendizaje se utiliza en videojuegos de estrategia para hacer que la experiencia de juego sea más desafiante y atractiva para los jugadores.

Cómo funciona el aprendizaje por refuerzo en las soluciones de AI#

Piensa en cómo aprendes a montar en bicicleta. Al principio, es posible que te caigas. Pero con la práctica, empiezas a descubrir qué te ayuda a mantener el equilibrio. Cuanto más montas, mejor lo haces. Aprendes practicando, no solo cuando te dicen qué tienes que hacer.

El aprendizaje por refuerzo funciona de forma parecida en AI. Aprende mediante la experiencia: prueba distintas acciones, observa lo que sucede y mejora gradualmente su capacidad para tomar las decisiones correctas con el tiempo.

Fig. 2. Cómo funciona el aprendizaje por refuerzo.

Estos son algunos de los componentes clave del aprendizaje por refuerzo:

• Agente: El agente es quien aprende o toma las decisiones. Interactúa con el entorno realizando acciones y tiene como objetivo alcanzar una meta concreta.
• Entorno: El entorno incluye todo aquello con lo que interactúa el agente. Cambia como respuesta a las acciones del agente y proporciona comentarios basados en los resultados.
• Estado: Un estado representa una instantánea de la situación actual del entorno. El agente observa el estado para comprender lo que le rodea y determinar qué acción realizar a continuación.
• Acción: Una acción es un movimiento o una decisión del agente que afecta al entorno. Cada acción conduce a un nuevo estado y puede influir en las recompensas futuras.
• Recompensa: Una recompensa es simplemente un comentario del entorno que indica al agente si su acción ha sido beneficiosa o no. Las recompensas positivas animan al agente a repetir las buenas acciones, mientras que las negativas desaconsejan las que no son adecuadas.
• Política: Una política es la estrategia del agente para elegir acciones basándose en el estado actual. Con el tiempo, el agente perfecciona su política para maximizar las recompensas totales que puede obtener.

Al utilizar estos componentes conjuntamente, el aprendizaje por refuerzo permite que los sistemas de AI aprendan comportamientos eficaces mediante un proceso continuo de prueba y error. Con cada intento, el agente mejora a la hora de seleccionar acciones que conducen a mayores recompensas y mejores resultados.

Innovaciones del aprendizaje por refuerzo en la visión por ordenador#

La visión por ordenador se utiliza para tareas como detectar objetos en imágenes, clasificar lo que aparece en una imagen y segmentar una imagen en distintas partes. Los modelos de visión por ordenador, como Ultralytics YOLO11, permiten realizar estas tareas y se pueden utilizar para crear aplicaciones de gran impacto capaces de recopilar información visual.

Sin embargo, cuando estas tareas de Vision AI se combinan con el aprendizaje por refuerzo, el resultado es una solución de AI que no solo ve, sino que también aprende a actuar basándose en la información visual y mejora con el tiempo.

Un ejemplo interesante del aprendizaje por refuerzo en aplicaciones de visión por ordenador es el uso de robots en almacenes. Los robots equipados con cámaras y sistemas de visión por ordenador pueden analizar lo que les rodea, detectar dónde se encuentra cada artículo, identificar su forma y tamaño y comprender cómo está colocado en la estantería.

Cada vez que el robot intenta recoger un artículo, recibe comentarios: éxito si lo recoge correctamente o fallo si se le cae. Con el tiempo, el robot aprende qué acciones funcionan mejor para cada artículo. En lugar de seguir un conjunto fijo de instrucciones, mejora continuamente mediante la experiencia.

Fig. 3. Un brazo robótico que utiliza Vision AI y aprendizaje por refuerzo para recoger objetos.

Aplicaciones del aprendizaje por refuerzo en la visión por ordenador#

Ahora que comprendemos mejor qué es el aprendizaje por refuerzo y cuál es su función en la visión por ordenador, analizaremos algunos ejemplos de situaciones en las que se utilizan conjuntamente el aprendizaje por refuerzo y la visión por ordenador.

Integración de Vision AI y aprendizaje por refuerzo para conseguir vehículos más inteligentes#

Los vehículos autónomos pueden recurrir tanto a Vision AI para comprender lo que les rodea como al aprendizaje por refuerzo para tomar decisiones basadas en lo que ven. Un gran ejemplo de ello es AWS DeepRacer.

El AWS DeepRacer es un coche de carreras totalmente autónomo a escala 1/18 que aprende a conducir utilizando una cámara y aprendizaje por refuerzo. En lugar de recibir instrucciones sobre qué hacer, resuelve las situaciones por sí mismo probando, cometiendo errores y aprendiendo de ellos.

La cámara de este pequeño coche funciona como un par de ojos y captura la pista que tiene delante. Basándose en lo que ve, el coche aprende a girar y a qué velocidad avanzar. Con cada vuelta, mejora. Por ejemplo, puede aprender a tomar las curvas más abiertas o a reducir la velocidad antes de las curvas cerradas a partir de sus intentos anteriores.

El entrenamiento de DeepRacer comienza en un entorno virtual, donde el modelo practica y perfecciona sus habilidades de conducción. Cuando alcanza un determinado nivel de rendimiento, esas habilidades se transfieren a pistas reales con coches físicos.

Fig. 4. AWS DeepRacer utiliza la visión y el aprendizaje por refuerzo para conducir de forma autónoma. Fuente de la imagen: Amazon.

Hacia los robots quirúrgicos autónomos#

Un área de investigación interesante que está ganando atención es la integración de Vision AI y el aprendizaje por refuerzo en la cirugía robótica. De momento, esta aplicación sigue siendo en gran medida teórica. Los investigadores están ejecutando simulaciones en entornos virtuales.

Sin embargo, los primeros experimentos están mostrando resultados prometedores, lo que sugiere que los robots quirúrgicos podrían llegar a realizar procedimientos complejos y delicados con mayor precisión y adaptabilidad, y con una intervención humana mínima.

Fig. 5. Los robots quirúrgicos son cada vez más avanzados.

Por ejemplo, imagina una situación en la que haya que levantar con cuidado una gasa de una zona quirúrgica. Un robot equipado con Vision AI analizaría primero la escena y utilizaría la segmentación para identificar la gasa y los tejidos circundantes.

A continuación, el aprendizaje por refuerzo ayudaría al robot quirúrgico a decidir cómo abordar la tarea, determinando el mejor ángulo para sujetar la gasa, cuánta presión aplicar y cómo levantarla sin alterar las zonas sensibles cercanas. Con el tiempo y mediante la práctica repetida en entornos simulados, el robot podría aprender a realizar estos movimientos sutiles y críticos con una habilidad y confianza cada vez mayores.

Ventajas y desventajas del aprendizaje por refuerzo en Vision AI#

El aprendizaje por refuerzo permite que los sistemas de Vision AI vayan más allá del simple reconocimiento y empiecen a tomar decisiones basadas en lo que ven. Esto abre nuevas posibilidades en áreas como la robótica, la automatización y la interacción en tiempo real.

Estas son algunas de las principales ventajas de integrar el aprendizaje por refuerzo en los flujos de trabajo de Vision AI:

• Menor dependencia de los datos etiquetados: Estos sistemas pueden aprender mediante la interacción, por lo que no necesitan grandes conjuntos de datos etiquetados para empezar.
• Gestiona mejor la incertidumbre: El aprendizaje por refuerzo puede trabajar con información visual incompleta o ruidosa ajustando las acciones a partir de los comentarios, en lugar de depender únicamente de datos perfectos.
• Favorece el aprendizaje a largo plazo: Ayuda a los modelos a mejorar con el tiempo aprendiendo de secuencias de acciones, no solo de decisiones puntuales.

Por otro lado, estas son algunas de las limitaciones del aprendizaje por refuerzo que debes tener en cuenta:

• Problema de asignación de crédito: Puede resultar difícil para el agente determinar qué acciones concretas contribuyeron al resultado final, especialmente en secuencias largas de decisiones.
• Riesgo de exploración insegura: Durante el entrenamiento, el agente puede probar acciones inseguras o no deseables que no serían aceptables en aplicaciones del mundo real, como la sanidad o la conducción autónoma.
• Convergencia lenta: El modelo puede tardar mucho tiempo en alcanzar realmente un buen rendimiento, especialmente en tareas complejas.

Conclusiones clave#

El aprendizaje por refuerzo en proyectos de visión por ordenador permite que los sistemas de AI comprendan lo que les rodea y aprendan a actuar mediante la experiencia. Con modelos como Ultralytics YOLO11, que proporciona detección de objetos en tiempo real, el sistema puede tomar decisiones fundamentadas basándose en lo que ve.

Este enfoque va más allá de los métodos tradicionales al permitir que AI mejore mediante pruebas y comentarios, en lugar de depender únicamente de datos etiquetados. Favorece el aprendizaje continuo y ayuda a crear sistemas de Vision AI más flexibles, adaptables e inteligentes que mejoran con el tiempo.

Únete a nuestra creciente comunidad. Visita nuestro repositorio de GitHub para profundizar en AI. ¿Quieres empezar tus propios proyectos de visión por ordenador? Explora nuestras opciones de licencia. Obtén más información sobre AI en la fabricación y Vision AI en la industria automovilística en nuestras páginas de soluciones.