Generative Flow Networks (GFlowNets)
Les réseaux de flux génératifs (GFlowNets) construisent des objets étape par étape et échantillonnent chacun proportionnellement à sa récompense, ce qui produit des candidats variés et très bien notés.
Un réseau de flux génératif (GFlowNet) est un modèle d'apprentissage automatique qui apprend à construire des objets discrets, comme des molécules, des graphes ou des séquences, par une série d'actions, et à échantillonner chaque objet terminé avec une probabilité proportionnelle à une récompense donnée. Un agent d'apprentissage par renforcement entraîné à maximiser la même récompense tend à se fixer sur le meilleur objet trouvé, tandis qu'un GFlowNet renvoie de nombreux objets de qualité, chacun proportionnellement à sa qualité. Cette diversité est importante lorsque la récompense n'est qu'un indicateur approximatif de l'objectif réel, par exemple quand un modèle propose des candidats médicaments à tester en laboratoire. Contrairement à la plupart des modèles d'IA générative, un GFlowNet n'a pas besoin de données d'entraînement, seulement d'une fonction de récompense. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup et Yoshua Bengio, de Mila, ont présenté les GFlowNets à NeurIPS 2021 dans Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.
Flux dans un réseau d'états#
La génération est un processus décisionnel séquentiel, comme un processus décisionnel de Markov (MDP) sans hasard dans les transitions. Elle part d'un état vide, et chaque action ajoute un élément de base, comme un atome, un fragment moléculaire, une arête de graphe ou un jeton, jusqu'à ce que la politique choisisse de s'arrêter. Plusieurs ordres d'action peuvent aboutir au même objet ; les états forment donc un graphe orienté acyclique plutôt qu'un arbre :
Le nom vient de l'image d'une probabilité qui s'écoule de l'état initial à travers ce graphe comme de l'eau, puis se déverse depuis chaque objet achevé à un débit égal à sa récompense. Si le flux entrant égale le flux sortant dans chaque état, une politique directe qui suit chaque arête avec une probabilité proportionnelle à son flux produit chaque objet avec une probabilité égale à sa récompense divisée par le flux total Z, soit la somme de toutes les récompenses. L'article original a transformé cette condition de cohérence des flux en fonction de perte d'entraînement, analogue à l'équation de Bellman de l'apprentissage par différences temporelles.
Entraînement par équilibrage des trajectoires#
L'objectif d'équilibrage des trajectoires de Nikolay Malkin et de ses collègues (2022) vérifie une trajectoire entière à la fois, plutôt que chaque état : le flux total appris Z multiplié par le produit des probabilités de la politique directe le long de la trajectoire doit être égal à la récompense multipliée par le produit des probabilités de la politique inverse, qui décrivent comment démonter l'objet terminé. La perte est le carré de la différence entre les logarithmes des deux membres. Lorsque chaque objet n'a qu'un seul chemin de construction, comme les chaînes construites de gauche à droite, la politique inverse vaut 1 et disparaît de l'équation, comme dans cet exemple PyTorch :
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")Après 2,000 chaînes échantillonnées, les probabilités de la politique correspondent aux parts de récompense à deux décimales près, de 0.03 pour chaque chaîne avec une récompense de 1 à 0.48 pour 111, dont la récompense de 16 représente environ la moitié du total ; le Z appris est égal à la somme des récompenses, soit 33. Les vrais GFlowNets remplacent la table de correspondance par un réseau neuronal, souvent un réseau neuronal de graphes pour les molécules, et explorent à l'aide d'actions aléatoires ou d'objets à forte récompense rejoués, car la politique n'apprend que sur les objets qu'elle échantillonne. Un maximiseur de récompense affecterait presque toute sa probabilité à 111 pour la même tâche. Le réglage des hyperparamètres dans Ultralytics YOLO26 applique manuellement l'échantillonnage pondéré par la récompense : model.tune() choisit le parent de chaque nouveau candidat parmi ses 9 meilleurs résultats, avec une probabilité pondérée par la fitness, puis le fait muter ; la recherche continue ainsi d'explorer autour de plusieurs configurations performantes.
Applications#
- Découverte de médicaments : L'article original a construit des molécules à partir de fragments, évaluées par un modèle indicateur de leur liaison à la protéine époxyde hydrolase soluble (sEH), et a trouvé davantage de molécules distinctes à forte récompense que les méthodes de référence fondées sur l'apprentissage par renforcement et la chaîne de Markov Monte-Carlo. En 2022, Moksh Jain et ses collègues ont appliqué les GFlowNets à la conception de peptides antimicrobiens.
- Découverte causale : DAG-GFlowNet (Tristan Deleu et ses collègues, 2022) approxime la distribution a posteriori des structures de graphe des réseaux bayésiens, ce qui permet de garder à l'esprit plusieurs explications causales plausibles.
- Raisonnement des modèles de langage : En 2024, Edward Hu et ses collègues ont affiné des modèles de langage avec des objectifs GFlowNet afin d'échantillonner des chaînes de raisonnement et des complétions de texte proportionnellement à leur probabilité a posteriori.
Les GFlowNets et les notions connexes#
- Apprentissage par renforcement maximisant la récompense : Apprend une politique pour le même type de processus décisionnel, mais maximise la récompense attendue, ce qui concentre la probabilité sur le meilleur objet trouvé.
- Méthode de Monte-Carlo par chaîne de Markov : Échantillonne également proportionnellement à une récompense, mais chaque échantillon nécessite une longue chaîne de propositions ; un GFlowNet entraîné en produit un en un seul passage, d'où le terme « non itératif » du titre original.
- Algorithmes évolutionnaires : Effectuent une recherche à l'aide de mutations conçues à la main et d'une sélection pondérée par la fitness, plutôt que d'une politique de construction apprise.
- Flots normalisants : Partagent le terme « flux », mais transforment des distributions continues au moyen de couches inversibles.










