Sfruttare l’apprendimento per rinforzo nei progetti di computer vision

Un modo semplice per spiegare l'intelligenza artificiale (AI) è dire che si tratta di un campo incentrato sulla riproduzione del modo in cui gli esseri umani pensano e apprendono. Da qui nasce l'idea delle tecniche di apprendimento nell'AI, ovvero diversi metodi che consentono alle macchine di migliorare le proprie prestazioni nel tempo, proprio come fanno le persone.

In precedenza abbiamo analizzato le principali tecniche di apprendimento dell'AI, tra cui l'apprendimento supervisionato, non supervisionato, per rinforzo e per trasferimento, e il ruolo importante che ciascuna svolge nell'aiutare i modelli di AI a elaborare informazioni e prendere decisioni.

Oggi analizzeremo più da vicino l'apprendimento per rinforzo, una tecnica che insegna ai sistemi di AI ad apprendere dall'esperienza interagendo con un ambiente e migliorando in base al feedback. In particolare, vedremo come l'apprendimento per rinforzo può essere applicato alle applicazioni di computer vision, ovvero sistemi che consentono alle macchine di interpretare e comprendere le informazioni visive del mondo.

Combinare concetti come l'apprendimento per rinforzo e la computer vision sta aprendo nuove possibilità entusiasmanti ed è un'area di ricerca attiva. Ciò consente ai sistemi di AI di riconoscere ciò che vedono e prendere decisioni ponderate sulla base di tali informazioni visive.

Che cos'è l'apprendimento per rinforzo?#

L'apprendimento per rinforzo è un ramo del machine learning in cui un agente di AI apprende compiendo azioni e ricevendo feedback sotto forma di ricompense o penalità. L'obiettivo è determinare quali azioni portano ai risultati migliori nel tempo.

Puoi pensare all'apprendimento per rinforzo come all'addestramento di un cane. Quando il cane si siede a comando, gli dai un bocconcino. Dopo un po', il cane impara che sedersi porta a una ricompensa. Nell'apprendimento per rinforzo, l'agente o modello di AI è come il cane; l'ambiente è il mondo che lo circonda e la ricompensa lo aiuta a capire se ha compiuto l'azione giusta.

Questo è diverso dall'apprendimento supervisionato, in cui al modello di AI vengono mostrati molti esempi delle risposte corrette. Ad esempio, al modello potrebbe essere mostrata la foto di un cane e potrebbe essergli detto: "Questo è un cane."

L'apprendimento per rinforzo, invece, non si basa su dati annotati. Consiste piuttosto nell'apprendere provando azioni diverse e imparando dai risultati, proprio come quando si gioca e si cerca di capire quali mosse aiutano a vincere.

Fig. 1 Apprendimento per rinforzo e apprendimento supervisionato a confronto.

L'apprendimento per rinforzo è fondamentale per le attività in cui le decisioni vengono prese passo dopo passo e ogni scelta modifica ciò che accade in seguito. Questo tipo di apprendimento viene utilizzato nei videogiochi strategici per rendere il gioco più impegnativo e coinvolgente per i giocatori.

Come funziona l'apprendimento per rinforzo nelle soluzioni di AI#

Pensa a come impari ad andare in bicicletta. All'inizio potresti cadere. Ma con la pratica inizi a capire cosa ti aiuta a mantenere l'equilibrio. Più vai in bicicletta, più migliori. Impari facendo, non solo sentendoti dire cosa fare.

L'apprendimento per rinforzo funziona in modo simile per l'AI. Il sistema apprende dall'esperienza: prova azioni diverse, osserva cosa accade e migliora gradualmente la propria capacità di compiere le scelte giuste nel tempo.

Fig. 2 Capire come funziona l'apprendimento per rinforzo.

Ecco alcuni dei componenti principali dell'apprendimento per rinforzo:

• Agente: l'agente è colui che apprende o prende le decisioni. Interagisce con l'ambiente compiendo azioni e mira a raggiungere un obiettivo specifico.
• Ambiente: l'ambiente comprende tutto ciò con cui l'agente interagisce. Cambia in risposta alle azioni dell'agente e fornisce feedback in base ai risultati.
• Stato: uno stato rappresenta un'istantanea della situazione corrente nell'ambiente. L'agente osserva lo stato per comprendere ciò che lo circonda e determinare quale azione compiere successivamente.
• Azione: un'azione è una mossa o una decisione dell'agente che influisce sull'ambiente. Ogni azione porta a un nuovo stato e può influenzare le ricompense future.
• Ricompensa: una ricompensa è semplicemente il feedback dell'ambiente che indica all'agente se la sua azione è stata vantaggiosa o meno. Le ricompense positive incoraggiano l'agente a ripetere le azioni corrette, mentre quelle negative lo dissuadono dal compiere azioni inadeguate.
• Policy: una policy è la strategia con cui l'agente sceglie le azioni in base allo stato corrente. Nel tempo, l'agente perfeziona la propria policy per massimizzare il totale delle ricompense che può ottenere.

Utilizzando insieme questi componenti, l'apprendimento per rinforzo consente ai sistemi di AI di apprendere comportamenti efficaci attraverso un continuo processo di tentativi ed errori. A ogni tentativo, l'agente migliora nella selezione delle azioni che portano a ricompense più elevate e a risultati migliori.

Innovazioni dell'apprendimento per rinforzo nella computer vision#

La computer vision viene utilizzata per attività come il rilevamento degli oggetti nelle immagini, la classificazione del contenuto di una foto e la segmentazione di un'immagine in parti diverse. I modelli di computer vision come Ultralytics YOLO11 supportano queste attività e possono essere utilizzati per creare applicazioni di grande impatto in grado di raccogliere informazioni visive.

Tuttavia, quando queste attività di Vision AI vengono combinate con l'apprendimento per rinforzo, il risultato è una soluzione di AI che non si limita a vedere, ma impara anche ad agire sulla base delle informazioni visive e migliora nel tempo.

Un esempio interessante dell'apprendimento per rinforzo nelle applicazioni di computer vision è l'utilizzo di robot nei magazzini. I robot dotati di telecamere e sistemi di computer vision possono analizzare l'ambiente circostante, rilevare la posizione di ogni articolo, identificarne forma e dimensioni e comprendere come è disposto sullo scaffale.

Ogni volta che il robot tenta di afferrare un articolo, riceve un feedback: successo se l'articolo viene raccolto correttamente o fallimento se cade. Nel tempo, il robot impara quali azioni funzionano meglio per articoli diversi. Invece di seguire un insieme fisso di istruzioni, migliora continuamente attraverso l'esperienza.

Fig. 3 Un braccio robotico utilizza la Vision AI e l'apprendimento per rinforzo per raccogliere oggetti.

Applicazioni dell'apprendimento per rinforzo nella computer vision#

Ora che abbiamo compreso meglio cos'è l'apprendimento per rinforzo e quale ruolo svolge nella computer vision, analizziamo più da vicino alcuni esempi di utilizzo congiunto dell'apprendimento per rinforzo e della computer vision.

Integrare la Vision AI e l'apprendimento per rinforzo per veicoli più intelligenti#

I veicoli autonomi possono affidarsi sia alla Vision AI per comprendere l'ambiente circostante sia all'apprendimento per rinforzo per prendere decisioni sulla base di ciò che vedono. Un ottimo esempio pratico è AWS DeepRacer.

AWS DeepRacer è un'auto da corsa completamente autonoma in scala 1:18 che impara a guidare utilizzando una telecamera e l'apprendimento per rinforzo. Invece di ricevere istruzioni, trova autonomamente la soluzione provando, commettendo errori e imparando da essi.

La telecamera di questa piccola auto funziona come un paio di occhi e cattura il tracciato davanti a sé. In base a ciò che vede, l'auto impara a sterzare e a quale velocità procedere. A ogni giro migliora. Ad esempio, potrebbe imparare a prendere le curve più larghe o a rallentare prima delle curve strette imparando dai tentativi precedenti.

L'addestramento di DeepRacer inizia in un ambiente virtuale, dove il modello si esercita e perfeziona le proprie abilità di guida. Una volta raggiunto un determinato livello di prestazioni, tali abilità vengono trasferite a tracciati reali con auto fisiche.

Fig. 4 AWS DeepRacer utilizza la visione e l'apprendimento per rinforzo per guidare autonomamente. Fonte dell'immagine: Amazon.

Verso robot chirurgici autonomi#

Un'area di ricerca entusiasmante e sempre più considerata è l'integrazione della Vision AI e dell'apprendimento per rinforzo nella chirurgia robotica. Al momento, questa applicazione è ancora in gran parte teorica. I ricercatori stanno eseguendo simulazioni in ambienti virtuali.

Tuttavia, i primi esperimenti stanno mostrando risultati promettenti, suggerendo che in futuro i robot chirurgici potrebbero eseguire procedure complesse e delicate con maggiore precisione, adattabilità e un intervento umano minimo.

Fig. 5 I robot chirurgici diventano sempre più avanzati.

Ad esempio, immagina una situazione in cui sia necessario sollevare con cautela una garza da un sito chirurgico. Un robot dotato di Vision AI analizzerebbe innanzitutto la scena, utilizzando la segmentazione per identificare la garza e i tessuti circostanti.

L'apprendimento per rinforzo aiuterebbe quindi il robot chirurgico a decidere come affrontare il compito, determinando l'angolazione migliore per afferrare la garza, quanta pressione applicare e come sollevarla senza disturbare le aree sensibili vicine. Nel tempo e attraverso esercitazioni ripetute in ambienti simulati, il robot potrebbe imparare a eseguire questi movimenti delicati e critici con abilità e sicurezza sempre maggiori.

Vantaggi e svantaggi dell'apprendimento per rinforzo nella Vision AI#

L'apprendimento per rinforzo consente ai sistemi di Vision AI di andare oltre il semplice riconoscimento e iniziare a prendere decisioni sulla base di ciò che vedono. Questo apre nuove possibilità in settori come la robotica, l'automazione e l'interazione in tempo reale.

Ecco alcuni dei principali vantaggi dell'integrazione dell'apprendimento per rinforzo nei flussi di lavoro della Vision AI:

• Minore dipendenza dai dati annotati: questi sistemi possono apprendere dall'interazione, quindi non hanno bisogno di enormi dataset annotati per iniziare.
• Gestione più efficace dell'incertezza: l'apprendimento per rinforzo può gestire informazioni visive incomplete o rumorose modificando le azioni in base al feedback, invece di affidarsi esclusivamente a dati perfetti.
• Supporto all'apprendimento a lungo termine: aiuta i modelli a migliorare nel tempo apprendendo da sequenze di azioni, non solo da decisioni a singolo passaggio.

D'altra parte, ecco alcuni dei limiti dell'apprendimento per rinforzo da considerare:

• Problema dell'assegnazione del merito: può essere difficile per l'agente capire quali azioni specifiche abbiano contribuito al risultato finale, soprattutto nelle sequenze decisionali lunghe.
• Rischio di esplorazione non sicura: durante l'addestramento, l'agente potrebbe provare azioni non sicure o indesiderate, che non sarebbero accettabili in applicazioni del mondo reale come l'assistenza sanitaria o la guida autonoma.
• Convergenza lenta: il modello può impiegare molto tempo per raggiungere effettivamente buone prestazioni, soprattutto nelle attività complesse.

Punti chiave#

L'apprendimento per rinforzo nei progetti di computer vision consente ai sistemi di AI di comprendere l'ambiente circostante e imparare come agire attraverso l'esperienza. Con modelli come Ultralytics YOLO11 che forniscono il rilevamento degli oggetti in tempo reale, il sistema può prendere decisioni informate sulla base di ciò che vede.

Questo approccio va oltre i metodi tradizionali, consentendo all'AI di migliorare attraverso tentativi e feedback invece di affidarsi esclusivamente a dati annotati. Supporta l'apprendimento continuo e contribuisce a creare sistemi di Vision AI più flessibili, adattivi e intelligenti, che migliorano nel tempo.

Unisciti alla nostra community in crescita. Visita il nostro repository GitHub per approfondire l'AI. Vuoi iniziare i tuoi progetti di computer vision? Esplora le nostre opzioni di licenza. Scopri di più sull'AI nella produzione e sulla Vision AI nel settore automobilistico nelle nostre pagine dedicate alle soluzioni.