Sfruttare il reinforcement learning in progetti di computer vision

Un modo semplice per spiegare l'intelligenza artificiale (AI) è definirla come un campo focalizzato sul ricreare il modo in cui gli esseri umani pensano e imparano. È da qui che nasce l'idea delle tecniche di apprendimento nell'AI, ovvero metodi differenti che consentono alle macchine di migliorare le proprie prestazioni nel tempo, proprio come fanno le persone.

In precedenza, abbiamo esplorato le principali tecniche di apprendimento AI, inclusi l'apprendimento supervisionato, non supervisionato, per rinforzo e il transfer learning, e come ognuno di essi svolga un ruolo importante nell'aiutare i modelli AI a elaborare informazioni e prendere decisioni.

Oggi analizzeremo più da vicino l'apprendimento per rinforzo, una tecnica che insegna ai sistemi AI a imparare attraverso l'esperienza interagendo con un ambiente e migliorando in base al feedback. Nello specifico, esploreremo come l'apprendimento per rinforzo possa essere applicato alle applicazioni di computer vision – sistemi che consentono alle macchine di interpretare e comprendere le informazioni visive dal mondo.

Combinare concetti come l'apprendimento per rinforzo e la computer vision sta aprendo nuove interessanti possibilità ed è un'area di ricerca attiva. Ciò consente ai sistemi AI di riconoscere ciò che vedono e prendere decisioni informate basate su tali informazioni visive.

Link to this sectionCos'è l'apprendimento per rinforzo?#

L'apprendimento per rinforzo è un ramo del machine learning in cui un agente AI impara compiendo azioni e ricevendo feedback sotto forma di ricompense o penalità. L'obiettivo è capire quali azioni portino ai risultati migliori nel tempo.

Puoi pensare all'apprendimento per rinforzo come all'addestramento di un cane. Quando un cane si siede al comando, gli dai un premio. Dopo un po', il cane impara che sedersi porta a una ricompensa. Nell'apprendimento per rinforzo, l'agente o modello AI è come il cane; l'ambiente è il mondo che lo circonda e la ricompensa lo aiuta a capire se ha fatto la mossa giusta.

Questo è diverso dall'apprendimento supervisionato, in cui al modello AI vengono mostrati molti esempi di risposte corrette. Ad esempio, al modello potrebbe essere mostrata l'immagine di un cane e gli verrebbe detto: "Questo è un cane".

L'apprendimento per rinforzo, d'altra parte, non si basa su dati etichettati. Invece, implica imparare provando diverse azioni e imparando dai risultati, proprio come quando giochi a un videogioco e capisci quali mosse ti aiutano a vincere.

Fig 1. Apprendimento per rinforzo vs. apprendimento supervisionato.

L'apprendimento per rinforzo è cruciale per le attività in cui le decisioni vengono prese passo dopo passo e ogni scelta cambia ciò che accade dopo. Questo tipo di apprendimento viene utilizzato nei videogiochi di strategia per rendere il gameplay più stimolante e coinvolgente per i giocatori.

Link to this sectionCome funziona l'apprendimento per rinforzo nelle soluzioni AI#

Considera come impari ad andare in bicicletta. All'inizio potresti cadere. Ma con la pratica, inizi a capire cosa ti aiuta a mantenere l'equilibrio. Più pedali, più diventi bravo. Impari facendo, non solo perché qualcuno ti dice cosa fare.

L'apprendimento per rinforzo funziona in modo simile per l'AI. Impara attraverso l'esperienza: provando diverse azioni, osservando cosa succede e migliorando gradualmente la sua capacità di fare le scelte giuste nel tempo.

Fig 2. Comprendere come funziona l'apprendimento per rinforzo.

Ecco uno sguardo ad alcuni dei componenti chiave dell'apprendimento per rinforzo:

• Agente: L'agente è il discente o il decisore. Interagisce con l'ambiente compiendo azioni e mira a raggiungere un obiettivo specifico.
• Ambiente: L'ambiente include tutto ciò con cui l'agente interagisce. Cambia in risposta alle azioni dell'agente e fornisce feedback in base ai risultati.
• Stato: Uno stato rappresenta un'istantanea della situazione attuale nell'ambiente. L'agente osserva lo stato per comprendere ciò che lo circonda e determinare quale azione intraprendere successivamente.
• Azione: Un'azione è una mossa o una decisione presa dall'agente che influenza l'ambiente. Ogni azione porta a un nuovo stato e può influenzare le ricompense future.
• Ricompensa: Una ricompensa è semplicemente un feedback dall'ambiente che comunica all'agente se la sua azione sia stata vantaggiosa o meno. Le ricompense positive incoraggiano l'agente a ripetere le buone azioni, mentre quelle negative scoraggiano quelle inadeguate.
• Policy: Una policy è la strategia dell'agente per scegliere le azioni in base allo stato attuale. Nel tempo, l'agente perfeziona la sua policy per massimizzare le ricompense totali che può ottenere.

Utilizzando questi componenti insieme, l'apprendimento per rinforzo rende possibile per i sistemi AI apprendere comportamenti efficaci attraverso un continuo processo di tentativi ed errori. Con ogni tentativo, l'agente diventa migliore nel selezionare azioni che portano a ricompense più elevate e risultati migliori.

Link to this sectionL'apprendimento per rinforzo nelle innovazioni della computer vision#

La computer vision viene utilizzata per attività come il rilevamento di oggetti nelle immagini, la classificazione di ciò che è presente in una foto e la segmentazione di un'immagine in diverse parti. I modelli di computer vision come Ultralytics YOLO11 supportano tali attività e possono essere utilizzati per creare applicazioni di impatto in grado di raccogliere insight visivi.

Tuttavia, quando queste attività di Vision AI vengono combinate con l'apprendimento per rinforzo, il risultato è una soluzione AI che non si limita a vedere; impara anche ad agire in base agli insight visivi e migliora nel tempo.

Un esempio interessante di apprendimento per rinforzo nelle applicazioni di computer vision è l'uso di robot nei magazzini. I robot dotati di fotocamere e sistemi di computer vision possono analizzare ciò che li circonda, rilevare dove si trova ogni articolo, identificarne forma e dimensioni e comprendere come sia posizionato sullo scaffale.

Ogni volta che il robot tenta di prelevare un articolo, riceve un feedback: successo se l'articolo viene prelevato correttamente o fallimento se viene fatto cadere. Nel tempo, il robot impara quali azioni funzionano meglio per diversi articoli. Invece di seguire una serie fissa di istruzioni, migliora continuamente attraverso l'esperienza.

Fig 3. Un braccio robotico che utilizza Vision AI e apprendimento per rinforzo per raccogliere oggetti.

Link to this sectionApplicazioni dell'apprendimento per rinforzo nella computer vision#

Ora che abbiamo una migliore comprensione di cosa sia l'apprendimento per rinforzo e del suo ruolo nella computer vision, diamo un'occhiata più da vicino ad alcuni esempi in cui l'apprendimento per rinforzo e la computer vision vengono utilizzati insieme.

Link to this sectionIntegrare Vision AI e apprendimento per rinforzo per veicoli più intelligenti#

I veicoli autonomi possono fare affidamento sia sulla Vision AI per comprendere l'ambiente circostante, sia sull'apprendimento per rinforzo per prendere decisioni basate su ciò che vedono. Un ottimo esempio di questo in azione è l'AWS DeepRacer.

L'AWS DeepRacer è un'auto da corsa completamente autonoma in scala 1/18 che impara a guidare utilizzando una fotocamera e l'apprendimento per rinforzo. Invece di ricevere istruzioni su cosa fare, risolve i problemi da sola provando, commettendo errori e imparando da essi.

La fotocamera di questa piccola auto funziona come un paio di occhi, catturando la pista davanti a sé. In base a ciò che vede, l'auto impara come sterzare e a quale velocità andare. A ogni giro, migliora. Ad esempio, potrebbe imparare a prendere le curve più larghe o a rallentare prima delle curve strette imparando dai tentativi precedenti.

L'addestramento per il DeepRacer inizia in un ambiente virtuale, dove il modello pratica e perfeziona le proprie abilità di guida. Una volta raggiunto un certo livello di prestazioni, tali competenze vengono trasferite su piste del mondo reale con auto fisiche.

Fig 4. L'AWS DeepRacer utilizza visione e apprendimento per rinforzo per guidare in modo autonomo. Fonte immagine: Amazon.

Link to this sectionVerso robot chirurgici autonomi#

Un'area di ricerca entusiasmante che sta attirando l'attenzione è l'integrazione di Vision AI e apprendimento per rinforzo nella chirurgia robotica. Al momento, questa applicazione è ancora in gran parte teorica. I ricercatori stanno eseguendo simulazioni in ambienti virtuali.

Tuttavia, i primi esperimenti stanno mostrando risultati promettenti, suggerendo che i robot chirurgici potrebbero eventualmente eseguire procedure complesse e delicate con maggiore precisione, adattabilità e un minimo intervento umano.

Fig 5. I robot chirurgici stanno diventando sempre più avanzati.

Ad esempio, immagina una situazione in cui una garza debba essere sollevata con cura da un sito chirurgico. Un robot dotato di Vision AI analizzerebbe prima la scena, utilizzando la segmentazione per identificare la garza e i tessuti circostanti.

L'apprendimento per rinforzo aiuterebbe quindi il robot chirurgico a decidere come approcciare l'attività, determinando l'angolazione migliore per afferrare la garza, quanta pressione applicare e come sollevarla senza disturbare le aree sensibili vicine. Nel tempo e attraverso la pratica ripetuta in ambienti simulati, il robot potrebbe imparare a eseguire questi movimenti sottili e critici con crescente abilità e sicurezza.

Link to this sectionPro e contro dell'apprendimento per rinforzo nella Vision AI#

L'apprendimento per rinforzo consente ai sistemi di Vision AI di andare oltre il semplice riconoscimento e iniziare a prendere decisioni basate su ciò che vedono. Ciò apre nuove possibilità in settori come la robotica, l'automazione e l'interazione in tempo reale.

Ecco alcuni dei principali vantaggi dell'integrazione dell'apprendimento per rinforzo nei flussi di lavoro di Vision AI:

• Minore dipendenza da dati etichettati: Questi sistemi possono imparare dall'interazione, quindi non hanno bisogno di enormi dataset etichettati per iniziare.
• Gestisce meglio l'incertezza: L'apprendimento per rinforzo può far fronte a informazioni visive incomplete o rumorose adattando le azioni in base al feedback, invece di fare affidamento solo su dati perfetti.
• Supporta l'apprendimento a lungo termine: Aiuta i modelli a migliorare nel tempo imparando da sequenze di azioni, non solo da decisioni basate su un singolo passaggio.

D'altra parte, ecco alcune delle limitazioni dell'apprendimento per rinforzo da considerare:

• Problema di assegnazione del credito (Credit assignment problem): Può essere difficile per l'agente capire quali azioni specifiche abbiano contribuito a un risultato finale, specialmente in lunghe sequenze di decisioni.
• Rischio di esplorazione non sicura: Durante l'addestramento, l'agente potrebbe tentare azioni non sicure o indesiderabili che non sarebbero accettabili in applicazioni del mondo reale come l'assistenza sanitaria o la guida autonoma.
• Convergenza lenta: Può volerci molto tempo prima che il modello raggiunga effettivamente buone prestazioni, specialmente per attività complesse.

Link to this sectionPunti chiave#

L'apprendimento per rinforzo nei progetti di computer vision consente ai sistemi AI di comprendere l'ambiente circostante e imparare ad agire attraverso l'esperienza. Con modelli come Ultralytics YOLO11 che forniscono il rilevamento di oggetti in tempo reale, il sistema può prendere decisioni informate basate su ciò che vede.

Questo approccio va oltre i metodi tradizionali, consentendo all'AI di migliorare tramite tentativi e feedback invece di basarsi esclusivamente su dati etichettati. Supporta l'apprendimento continuo e aiuta a costruire sistemi di Vision AI più flessibili, adattivi e intelligenti che diventano migliori nel tempo.

Unisciti alla nostra community in crescita. Visita il nostro repository GitHub per approfondire l'AI. Vuoi avviare i tuoi progetti di computer vision? Esplora le nostre opzioni di licenza. Scopri di più sull'AI nella produzione e sulla Vision AI nell'industria automobilistica nelle nostre pagine delle soluzioni.