Generative Flow Networks (GFlowNets)
Le reti di flusso generativo (GFlowNets) costruiscono oggetti passo dopo passo e campionano ciascuno in proporzione alla sua ricompensa, ottenendo candidati diversificati con punteggi elevati.
Una rete di flusso generativa (GFlowNet) è un modello di apprendimento automatico che impara a costruire oggetti discreti, come molecole, grafi o sequenze, attraverso una serie di azioni e a campionare ogni oggetto completo con probabilità proporzionale a una ricompensa assegnata. Un agente di apprendimento per rinforzo addestrato per massimizzare la stessa ricompensa tende a concentrarsi sull'unico oggetto migliore che ha trovato; una GFlowNet restituisce invece molti oggetti validi e diversi, in proporzione alla loro qualità. Questa diversità è importante quando la ricompensa è solo un indicatore economico dell'obiettivo reale, ad esempio quando un modello propone candidati farmaci da testare in laboratorio. A differenza della maggior parte dei modelli di IA generativa, una GFlowNet non ha bisogno di dati di addestramento, ma solo della funzione di ricompensa. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup e Yoshua Bengio di Mila hanno presentato le GFlowNet a NeurIPS 2021 in Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.
Flussi attraverso una rete di stati#
La generazione è un processo decisionale sequenziale, simile a un processo decisionale di Markov (MDP) senza casualità nelle transizioni. Parte da uno stato vuoto e ogni azione aggiunge un elemento costitutivo, come un atomo, un frammento molecolare, un arco del grafo o un token, finché la policy non decide di fermarsi. Ordini d'azione diversi possono portare allo stesso oggetto, quindi gli stati formano un grafo aciclico diretto invece di un albero:
Il nome deriva dall'idea di rappresentare la probabilità come acqua che scorre dallo stato iniziale attraverso questo grafo e defluisce da ogni oggetto completo a una velocità pari alla sua ricompensa. Se l'afflusso e il deflusso coincidono in ogni stato, una policy in avanti che segue ogni arco con probabilità proporzionale al suo flusso produce ogni oggetto con probabilità pari alla sua ricompensa divisa per il flusso totale Z, cioè la somma di tutte le ricompense. L'articolo originale ha trasformato questa condizione di coerenza del flusso in una funzione di perdita di addestramento, analoga all'equazione di Bellman nell'apprendimento per differenza temporale.
Addestramento con bilanciamento delle traiettorie#
L'obiettivo di bilanciamento delle traiettorie (2022) di Nikolay Malkin e colleghi verifica un'intera traiettoria in una volta sola, anziché controllare ogni stato: il flusso totale Z appreso, moltiplicato per il prodotto delle probabilità della policy in avanti lungo la traiettoria, deve uguagliare la ricompensa moltiplicata per il prodotto delle probabilità della policy all'indietro, che descrivono come si può smontare l'oggetto finito. La perdita è il quadrato della differenza tra i logaritmi dei due membri. Quando ogni oggetto ha un solo percorso di costruzione, come nel caso delle stringhe costruite da sinistra a destra, la policy all'indietro vale 1 e si annulla, come in questo esempio PyTorch:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")Dopo 2,000 stringhe campionate, le probabilità della policy corrispondono alle quote di ricompensa con due cifre decimali: da 0.03 per ogni stringa con ricompensa 1 a 0.48 per 111, la cui ricompensa di 16 rappresenta circa la metà del totale; il valore Z appreso coincide con la somma delle ricompense, 33. Le GFlowNet reali sostituiscono la tabella di consultazione con una rete neurale, spesso una rete neurale a grafo nel caso delle molecole, ed esplorano con azioni casuali o oggetti ad alta ricompensa riprodotti, perché la policy apprende solo dagli oggetti che campiona. Un massimizzatore della ricompensa sullo stesso compito assegnerebbe quasi tutta la sua probabilità a 111. L'ottimizzazione degli iperparametri in Ultralytics YOLO26 applica manualmente il campionamento pesato per ricompensa: model.tune() sceglie il genitore di ogni nuovo candidato tra i 9 risultati migliori, con probabilità pesata in base alla fitness, poi lo modifica, mantenendo la ricerca attiva intorno a diverse configurazioni valide.
Applicazioni#
- Scoperta di farmaci: nell'articolo originale, le molecole venivano costruite a partire da frammenti e valutate con un modello proxy del legame alla proteina epossido idrolasi solubile (sEH); il metodo ha trovato più molecole distinte con ricompensa elevata rispetto alle baseline di apprendimento per rinforzo e Monte Carlo a catena di Markov. Nel 2022 Moksh Jain e colleghi hanno applicato le GFlowNet alla progettazione di peptidi antimicrobici.
- Scoperta causale: DAG-GFlowNet (Tristan Deleu e colleghi, 2022) approssima la distribuzione a posteriori sulle strutture a grafo delle reti bayesiane, mantenendo aperte diverse spiegazioni causali plausibili.
- Ragionamento dei modelli linguistici: nel 2024 Edward Hu e colleghi hanno perfezionato i modelli linguistici con obiettivi GFlowNet per campionare catene di ragionamento e completamenti di testo in proporzione alla loro probabilità a posteriori.
GFlowNet e termini correlati#
- Apprendimento per rinforzo con massimizzazione della ricompensa: apprende una policy sullo stesso tipo di processo decisionale, ma massimizza la ricompensa attesa, concentrando la probabilità sull'oggetto migliore trovato.
- Monte Carlo a catena di Markov: campiona anch'esso in proporzione a una ricompensa, ma ogni campione richiede una lunga catena di proposte; una GFlowNet addestrata ne produce uno in un unico passaggio, da cui il termine «non iterativo» del titolo originale.
- Algoritmi evolutivi: effettuano la ricerca con mutazioni progettate manualmente e selezione pesata per fitness, anziché con una policy appresa per la costruzione.
- Flussi normalizzanti: condividono la parola «flusso», ma trasformano distribuzioni continue attraverso livelli invertibili.










