Deep Reinforcement Learning

L'apprendimento per rinforzo profondo (DRL) è un sottoinsieme avanzato dell'intelligenza artificiale (AI) che combina le capacità decisionali dell'apprendimento per rinforzo con la capacità percettiva del deep learning (DL). Mentre l'apprendimento per rinforzo tradizionale si basa su metodi tabellari per associare situazioni e azioni, questi metodi incontrano difficoltà quando l'ambiente è complesso o visivo. Il DRL supera questo limite utilizzando reti neurali per interpretare dati di input ad alta dimensionalità, come fotogrammi video o letture di sensori, consentendo alle macchine di apprendere strategie efficaci direttamente dall'esperienza grezza, senza istruzioni umane esplicite.

Il meccanismo fondamentale del DRL#

In un sistema DRL, un agente di intelligenza artificiale interagisce con un ambiente in intervalli temporali discreti. A ogni passaggio, l'agente osserva lo "stato" corrente, seleziona un'azione in base a una policy e riceve un segnale di ricompensa che indica il successo o il fallimento di tale azione. L'obiettivo principale è massimizzare la ricompensa cumulativa nel tempo.

La componente "deep" si riferisce all'uso di reti neurali profonde per approssimare la policy (la strategia d'azione) o la funzione di valore (la ricompensa futura stimata). Ciò consente all'agente di elaborare dati non strutturati, utilizzando la visione artificiale (CV) per "vedere" l'ambiente in modo molto simile a un essere umano. Questa capacità è resa possibile da framework come PyTorch o TensorFlow, che facilitano l'addestramento di queste reti complesse.

Applicazioni nel mondo reale#

Il DRL è passato dalla ricerca teorica ad applicazioni pratiche e ad alto impatto in diversi settori:

• Robotica avanzata: nel campo dell'IA nella robotica, il DRL consente alle macchine di acquisire complesse abilità motorie difficili da programmare manualmente. I robot possono imparare ad afferrare oggetti irregolari o a muoversi su terreni sconnessi perfezionando i propri movimenti all'interno di motori fisici come NVIDIA Isaac Sim. Spesso ciò comporta l'addestramento su dati sintetici prima di distribuire la policy sull'hardware fisico.
• Guida autonoma: i veicoli autonomi sfruttano il DRL per prendere decisioni in tempo reale in scenari di traffico imprevedibili. Mentre i modelli di rilevamento degli oggetti identificano pedoni e segnali stradali, gli algoritmi DRL utilizzano queste informazioni per determinare policy di guida sicure per l'immissione nella corsia, l'attraversamento degli incroci e il controllo della velocità, gestendo efficacemente la latenza di inferenza necessaria per la sicurezza.

La visione come osservatore dello stato#

Per molte applicazioni DRL, lo "stato" è visivo. I modelli ad alta velocità fungono da occhi dell'agente, convertendo le immagini grezze in dati strutturati sui quali la rete di policy può agire. L'esempio seguente illustra come il modello YOLO26 funge da livello percettivo per un agente, estraendo osservazioni (ad esempio, il numero di ostacoli) dall'ambiente.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Distinguere il DRL dai concetti correlati#

Per comprendere la posizione unica dell'apprendimento per rinforzo profondo nel panorama dell'IA, è utile distinguerlo da termini simili:

• Apprendimento per rinforzo (RL): l'RL standard è il concetto fondamentale, ma in genere si basa su tabelle di ricerca (come le tabelle Q), che diventano impraticabili per spazi degli stati di grandi dimensioni. Il DRL risolve questo problema utilizzando il deep learning per approssimare le funzioni, consentendo di gestire input complessi come le immagini.
• Apprendimento per rinforzo dal feedback umano (RLHF): mentre il DRL ottimizza in genere una funzione di ricompensa definita matematicamente (ad esempio, i punti in un gioco), l'RLHF perfeziona i modelli, in particolare i modelli linguistici di grandi dimensioni (LLM), utilizzando preferenze umane soggettive per allineare il comportamento dell'IA ai valori umani, una tecnica resa popolare da gruppi di ricerca come OpenAI.
• Apprendimento non supervisionato: i metodi non supervisionati cercano schemi nascosti nei dati senza un feedback esplicito. Al contrario, il DRL è orientato agli obiettivi e guidato da un segnale di ricompensa che indirizza attivamente l'agente verso uno specifico obiettivo, come discusso nei testi fondamentali di Sutton e Barto.

Gli sviluppatori che desiderano gestire i dataset necessari per i livelli percettivi dei sistemi DRL possono utilizzare la Ultralytics Platform, che semplifica i flussi di lavoro di annotazione e addestramento nel cloud. Inoltre, i ricercatori utilizzano spesso ambienti standardizzati come Gymnasium per confrontare i propri algoritmi DRL con baseline consolidate.