Licenza YOLO
Torna al glossario di Ultralytics

Generative Flow Networks (GFlowNets)

Le reti di flusso generativo (GFlowNets) costruiscono oggetti passo dopo passo e campionano ciascuno in proporzione alla sua ricompensa, ottenendo candidati diversificati con punteggi elevati.

Una rete di flusso generativa (GFlowNet) è un modello di apprendimento automatico che impara a costruire oggetti discreti, come molecole, grafi o sequenze, attraverso una serie di azioni e a campionare ogni oggetto completo con probabilità proporzionale a una ricompensa assegnata. Un agente di apprendimento per rinforzo addestrato per massimizzare la stessa ricompensa tende a concentrarsi sull'unico oggetto migliore che ha trovato; una GFlowNet restituisce invece molti oggetti validi e diversi, in proporzione alla loro qualità. Questa diversità è importante quando la ricompensa è solo un indicatore economico dell'obiettivo reale, ad esempio quando un modello propone candidati farmaci da testare in laboratorio. A differenza della maggior parte dei modelli di IA generativa, una GFlowNet non ha bisogno di dati di addestramento, ma solo della funzione di ricompensa. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup e Yoshua Bengio di Mila hanno presentato le GFlowNet a NeurIPS 2021 in Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.

Flussi attraverso una rete di stati#

La generazione è un processo decisionale sequenziale, simile a un processo decisionale di Markov (MDP) senza casualità nelle transizioni. Parte da uno stato vuoto e ogni azione aggiunge un elemento costitutivo, come un atomo, un frammento molecolare, un arco del grafo o un token, finché la policy non decide di fermarsi. Ordini d'azione diversi possono portare allo stesso oggetto, quindi gli stati formano un grafo aciclico diretto invece di un albero:

Il nome deriva dall'idea di rappresentare la probabilità come acqua che scorre dallo stato iniziale attraverso questo grafo e defluisce da ogni oggetto completo a una velocità pari alla sua ricompensa. Se l'afflusso e il deflusso coincidono in ogni stato, una policy in avanti che segue ogni arco con probabilità proporzionale al suo flusso produce ogni oggetto con probabilità pari alla sua ricompensa divisa per il flusso totale Z, cioè la somma di tutte le ricompense. L'articolo originale ha trasformato questa condizione di coerenza del flusso in una funzione di perdita di addestramento, analoga all'equazione di Bellman nell'apprendimento per differenza temporale.

Addestramento con bilanciamento delle traiettorie#

L'obiettivo di bilanciamento delle traiettorie (2022) di Nikolay Malkin e colleghi verifica un'intera traiettoria in una volta sola, anziché controllare ogni stato: il flusso totale Z appreso, moltiplicato per il prodotto delle probabilità della policy in avanti lungo la traiettoria, deve uguagliare la ricompensa moltiplicata per il prodotto delle probabilità della policy all'indietro, che descrivono come si può smontare l'oggetto finito. La perdita è il quadrato della differenza tra i logaritmi dei due membri. Quando ogni oggetto ha un solo percorso di costruzione, come nel caso delle stringhe costruite da sinistra a destra, la policy all'indietro vale 1 e si annulla, come in questo esempio PyTorch:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

Dopo 2,000 stringhe campionate, le probabilità della policy corrispondono alle quote di ricompensa con due cifre decimali: da 0.03 per ogni stringa con ricompensa 1 a 0.48 per 111, la cui ricompensa di 16 rappresenta circa la metà del totale; il valore Z appreso coincide con la somma delle ricompense, 33. Le GFlowNet reali sostituiscono la tabella di consultazione con una rete neurale, spesso una rete neurale a grafo nel caso delle molecole, ed esplorano con azioni casuali o oggetti ad alta ricompensa riprodotti, perché la policy apprende solo dagli oggetti che campiona. Un massimizzatore della ricompensa sullo stesso compito assegnerebbe quasi tutta la sua probabilità a 111. L'ottimizzazione degli iperparametri in Ultralytics YOLO26 applica manualmente il campionamento pesato per ricompensa: model.tune() sceglie il genitore di ogni nuovo candidato tra i 9 risultati migliori, con probabilità pesata in base alla fitness, poi lo modifica, mantenendo la ricerca attiva intorno a diverse configurazioni valide.

Applicazioni#

  • Scoperta di farmaci: nell'articolo originale, le molecole venivano costruite a partire da frammenti e valutate con un modello proxy del legame alla proteina epossido idrolasi solubile (sEH); il metodo ha trovato più molecole distinte con ricompensa elevata rispetto alle baseline di apprendimento per rinforzo e Monte Carlo a catena di Markov. Nel 2022 Moksh Jain e colleghi hanno applicato le GFlowNet alla progettazione di peptidi antimicrobici.
  • Scoperta causale: DAG-GFlowNet (Tristan Deleu e colleghi, 2022) approssima la distribuzione a posteriori sulle strutture a grafo delle reti bayesiane, mantenendo aperte diverse spiegazioni causali plausibili.
  • Ragionamento dei modelli linguistici: nel 2024 Edward Hu e colleghi hanno perfezionato i modelli linguistici con obiettivi GFlowNet per campionare catene di ragionamento e completamenti di testo in proporzione alla loro probabilità a posteriori.
  • Apprendimento per rinforzo con massimizzazione della ricompensa: apprende una policy sullo stesso tipo di processo decisionale, ma massimizza la ricompensa attesa, concentrando la probabilità sull'oggetto migliore trovato.
  • Monte Carlo a catena di Markov: campiona anch'esso in proporzione a una ricompensa, ma ogni campione richiede una lunga catena di proposte; una GFlowNet addestrata ne produce uno in un unico passaggio, da cui il termine «non iterativo» del titolo originale.
  • Algoritmi evolutivi: effettuano la ricerca con mutazioni progettate manualmente e selezione pesata per fitness, anziché con una policy appresa per la costruzione.
  • Flussi normalizzanti: condividono la parola «flusso», ma trasformano distribuzioni continue attraverso livelli invertibili.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning