Deep Reinforcement Learning

Deep Reinforcement Learning (DRL) è un sottoinsieme avanzato di artificial intelligence (AI) che combina le capacità di presa di decisione del reinforcement learning con la potenza percettiva del deep learning (DL). Mentre il reinforcement learning tradizionale si basa su metodi tabulari per mappare situazioni ad azioni, questi metodi faticano quando l'ambiente è complesso o visivo. Il DRL supera questo limite utilizzando neural networks per interpretare dati di input ad alta dimensionalità, come fotogrammi video o letture di sensori, consentendo alle macchine di apprendere strategie efficaci direttamente dall'esperienza grezza senza istruzioni umane esplicite.

Il meccanismo centrale del DRL#

In un sistema DRL, un AI agent interagisce con un ambiente in passaggi temporali discreti. A ogni passaggio, l'agente osserva lo "stato" attuale, seleziona un'azione basata su una policy e riceve un segnale di ricompensa che indica il successo o il fallimento di quell'azione. L'obiettivo principale è massimizzare la ricompensa cumulativa nel tempo.

La componente "deep" si riferisce all'uso di reti neurali profonde per approssimare la policy (la strategia per agire) o la funzione di valore (la ricompensa futura stimata). Ciò consente all'agente di elaborare dati non strutturati, utilizzando computer vision (CV) per "vedere" l'ambiente proprio come farebbe un essere umano. Questa capacità è alimentata da framework come PyTorch o TensorFlow, che facilitano l'addestramento di queste reti complesse.

Applicazioni nel mondo reale#

Il DRL si è spostato oltre la ricerca teorica verso applicazioni pratiche e ad alto impatto in vari settori:

• Advanced Robotics: Nel campo di AI in robotics, il DRL consente alle macchine di padroneggiare complesse abilità motorie che sono difficili da programmare rigidamente. I robot possono imparare ad afferrare oggetti irregolari o ad attraversare terreni accidentati perfezionando i loro movimenti all'interno di motori fisici come NVIDIA Isaac Sim. Ciò comporta spesso l'addestramento su synthetic data prima di distribuire la policy su hardware fisico.
• Autonomous Driving: I Autonomous vehicles sfruttano il DRL per prendere decisioni in tempo reale in scenari di traffico imprevedibili. Mentre i modelli di object detection identificano pedoni e cartelli, gli algoritmi DRL utilizzano tali informazioni per determinare policy di guida sicure per l'unione di corsie, la navigazione agli incroci e il controllo della velocità, gestendo efficacemente la inference latency richiesta per la sicurezza.

La visione come osservatore di stato#

Per molte applicazioni DRL, lo "stato" è visivo. I modelli ad alta velocità agiscono come gli occhi dell'agente, convertendo immagini grezze in dati strutturati su cui la rete di policy può agire. Il seguente esempio illustra come il modello YOLO26 funge da livello di percezione per un agente, estraendo osservazioni (ad esempio, conteggi di ostacoli) dall'ambiente.

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

Distinguere il DRL da concetti correlati#

È utile differenziare il Deep Reinforcement Learning da termini simili per comprendere la sua posizione unica nel panorama dell'AI:

• Reinforcement Learning (RL): L'RL standard è il concetto fondamentale, ma in genere si basa su tabelle di ricerca (come le Q-table) che diventano poco pratiche per ampi spazi di stato. Il DRL risolve questo problema utilizzando il deep learning per approssimare le funzioni, consentendogli di gestire input complessi come le immagini.
• Reinforcement Learning from Human Feedback (RLHF): Mentre il DRL tipicamente ottimizza per una funzione di ricompensa definita matematicamente (ad esempio, punti in un gioco), l'RLHF perfeziona i modelli—in particolare i Large Language Models (LLMs)—utilizzando preferenze umane soggettive per allineare il comportamento dell'IA con i valori umani, una tecnica resa popolare da gruppi di ricerca come OpenAI.
• Unsupervised Learning: I metodi non supervisionati cercano pattern nascosti nei dati senza un feedback esplicito. Al contrario, il DRL è orientato agli obiettivi, guidato da un segnale di ricompensa che guida attivamente l'agente verso un obiettivo specifico, come discusso nei testi fondamentali di Sutton and Barto.

Gli sviluppatori che desiderano gestire i dataset richiesti per i livelli di percezione dei sistemi DRL possono utilizzare la Ultralytics Platform, che semplifica i flussi di lavoro di annotazione e addestramento su cloud. Inoltre, i ricercatori utilizzano spesso ambienti standardizzati come Gymnasium per confrontare i loro algoritmi DRL rispetto a baseline consolidate.