Generative Flow Networks (GFlowNets)

Les Generative Flow Networks, ou GFlowNets, constituent un machine learning framework puissant conçu pour la modélisation probabiliste et le amortized sampling. Elles excellent dans la génération d'objets discrets et compositionnels en traitant le processus de génération comme une tâche de prise de décision séquentielle. Au lieu de simplement maximiser une récompense, comme c'est le cas dans le reinforcement learning traditionnel, les GFlowNets apprennent à échantillonner des objets avec une probabilité proportionnelle à une reward function prédéfinie. Cela leur permet de découvrir divers ensembles de candidats à forte récompense dans des espaces d'échantillonnage exceptionnellement vastes, atténuant efficacement le model collapse qui affecte souvent d'autres architectures génératives telles que les Generative Adversarial Networks (GANs).

Principes fondamentaux et mécanismes#

Les GFlowNets fonctionnent en se déplaçant dans un environnement structuré, en ajoutant des blocs de construction étape par étape pour construire un objet final.

• Forward and Backward Policies : Un neural network prédit une politique prospective qui dicte la distribution de probabilité sur les actions possibles à partir d'un état donné. En cartographiant les trajectoires à travers ces états, le modèle apprend le « flux » de probabilité.
• Trajectory Balance Loss : L'entraînement repose souvent sur des objectifs d'optimisation tels que la perte d'équilibre des trajectoires, ce qui garantit que la probabilité de générer un objet spécifique s'aligne étroitement sur sa récompense observée. Un bon hyperparameter tuning est essentiel pour stabiliser cette loss function pendant l'entraînement.
• Proportional Sampling : En échantillonnant proportionnellement à la récompense plutôt qu'en cherchant simplement le maximum absolu, les GFlowNets imposent naturellement de la diversité, ce qui est crucial lors de la navigation dans des combinatorial spaces complexes.

GFlowNets vs autres IA génératives#

Bien que l'Generative AI englobe de nombreuses techniques, les GFlowNets occupent une place unique. Les Diffusion Models standard ou des techniques telles que le Flow Matching transforment généralement des distributions de bruit continu en données. En revanche, les GFlowNets sont explicitement conçus pour générer des structures discrètes, telles que des graphes ou des séquences. De plus, alors que les agents de renforcement standard visent à trouver un unique chemin optimal via le Markov Decision Process (MDP), les GFlowNets cartographient plusieurs chemins à forte récompense pour garantir une grande variété de sorties générées.

Applications concrètes#

La capacité à générer des candidats diversifiés et hautement optimisés rend les GFlowNets particulièrement précieux dans les domaines scientifiques et structurels.

• Drug Discovery and Molecular Design : Dans la pharmaceutical research, les GFlowNets sont utilisées pour générer de nouveaux peptides thérapeutiques et des graphes moléculaires. Des avancées récentes, telles que les Atomic GFlowNets (A-GFN), construisent des molécules atome par atome pour optimiser des propriétés telles que l'affinité de liaison et l'accessibilité synthétique. Ce processus crée des candidats médicaments plus diversifiés par rapport aux méthodes qui reposent sur des fragments prédéfinis.
• Causal Structure Learning : Les GFlowNets sont également appliquées pour découvrir la structure de Bayesian Networks causaux. Elles approchent la distribution a posteriori sur les Directed Acyclic Graphs (DAGs), aidant les chercheurs à maintenir une vision réaliste de l'epistemic uncertainty lors de la modélisation de relations de données complexes.

Mise en œuvre de la politique de transfert#

Lors de la construction d'un GFlowNet, la politique prospective doit prédire une distribution de probabilité sur les prochaines étapes possibles. L'extrait PyTorch suivant montre comment définir une simple couche de politique et échantillonner une action. Bien que la construction de modèles de vision tels que Ultralytics YOLO26 nécessite de prédire des coordonnées de boîtes englobantes, un GFlowNet utilise des categorical distributions pour sélectionner l'état suivant dans son chemin de génération.

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

Si tu développes des solutions d'IA complexes en Python, tu peux annoter des jeux de données, entraîner et déployer des modèles en toute transparence à l'aide de l'Ultralytics Platform. Que tu te concentres sur des tâches d'object detection ultra-rapides ou que tu explores des architectures génératives, disposer d'un pipeline machine learning operations (MLOps) solide est essentiel pour mettre à l'échelle tes modèles efficacement.