Licence YOLO
Retour au glossaire Ultralytics

Generative Flow Networks (GFlowNets)

Les réseaux de flux génératifs (GFlowNets) construisent des objets étape par étape et échantillonnent chacun proportionnellement à sa récompense, ce qui produit des candidats variés et très bien notés.

Un réseau de flux génératif (GFlowNet) est un modèle d'apprentissage automatique qui apprend à construire des objets discrets, comme des molécules, des graphes ou des séquences, par une série d'actions, et à échantillonner chaque objet terminé avec une probabilité proportionnelle à une récompense donnée. Un agent d'apprentissage par renforcement entraîné à maximiser la même récompense tend à se fixer sur le meilleur objet trouvé, tandis qu'un GFlowNet renvoie de nombreux objets de qualité, chacun proportionnellement à sa qualité. Cette diversité est importante lorsque la récompense n'est qu'un indicateur approximatif de l'objectif réel, par exemple quand un modèle propose des candidats médicaments à tester en laboratoire. Contrairement à la plupart des modèles d'IA générative, un GFlowNet n'a pas besoin de données d'entraînement, seulement d'une fonction de récompense. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup et Yoshua Bengio, de Mila, ont présenté les GFlowNets à NeurIPS 2021 dans Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.

Flux dans un réseau d'états#

La génération est un processus décisionnel séquentiel, comme un processus décisionnel de Markov (MDP) sans hasard dans les transitions. Elle part d'un état vide, et chaque action ajoute un élément de base, comme un atome, un fragment moléculaire, une arête de graphe ou un jeton, jusqu'à ce que la politique choisisse de s'arrêter. Plusieurs ordres d'action peuvent aboutir au même objet ; les états forment donc un graphe orienté acyclique plutôt qu'un arbre :

Le nom vient de l'image d'une probabilité qui s'écoule de l'état initial à travers ce graphe comme de l'eau, puis se déverse depuis chaque objet achevé à un débit égal à sa récompense. Si le flux entrant égale le flux sortant dans chaque état, une politique directe qui suit chaque arête avec une probabilité proportionnelle à son flux produit chaque objet avec une probabilité égale à sa récompense divisée par le flux total Z, soit la somme de toutes les récompenses. L'article original a transformé cette condition de cohérence des flux en fonction de perte d'entraînement, analogue à l'équation de Bellman de l'apprentissage par différences temporelles.

Entraînement par équilibrage des trajectoires#

L'objectif d'équilibrage des trajectoires de Nikolay Malkin et de ses collègues (2022) vérifie une trajectoire entière à la fois, plutôt que chaque état : le flux total appris Z multiplié par le produit des probabilités de la politique directe le long de la trajectoire doit être égal à la récompense multipliée par le produit des probabilités de la politique inverse, qui décrivent comment démonter l'objet terminé. La perte est le carré de la différence entre les logarithmes des deux membres. Lorsque chaque objet n'a qu'un seul chemin de construction, comme les chaînes construites de gauche à droite, la politique inverse vaut 1 et disparaît de l'équation, comme dans cet exemple PyTorch :

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

Après 2,000 chaînes échantillonnées, les probabilités de la politique correspondent aux parts de récompense à deux décimales près, de 0.03 pour chaque chaîne avec une récompense de 1 à 0.48 pour 111, dont la récompense de 16 représente environ la moitié du total ; le Z appris est égal à la somme des récompenses, soit 33. Les vrais GFlowNets remplacent la table de correspondance par un réseau neuronal, souvent un réseau neuronal de graphes pour les molécules, et explorent à l'aide d'actions aléatoires ou d'objets à forte récompense rejoués, car la politique n'apprend que sur les objets qu'elle échantillonne. Un maximiseur de récompense affecterait presque toute sa probabilité à 111 pour la même tâche. Le réglage des hyperparamètres dans Ultralytics YOLO26 applique manuellement l'échantillonnage pondéré par la récompense : model.tune() choisit le parent de chaque nouveau candidat parmi ses 9 meilleurs résultats, avec une probabilité pondérée par la fitness, puis le fait muter ; la recherche continue ainsi d'explorer autour de plusieurs configurations performantes.

Applications#

  • Découverte de médicaments : L'article original a construit des molécules à partir de fragments, évaluées par un modèle indicateur de leur liaison à la protéine époxyde hydrolase soluble (sEH), et a trouvé davantage de molécules distinctes à forte récompense que les méthodes de référence fondées sur l'apprentissage par renforcement et la chaîne de Markov Monte-Carlo. En 2022, Moksh Jain et ses collègues ont appliqué les GFlowNets à la conception de peptides antimicrobiens.
  • Découverte causale : DAG-GFlowNet (Tristan Deleu et ses collègues, 2022) approxime la distribution a posteriori des structures de graphe des réseaux bayésiens, ce qui permet de garder à l'esprit plusieurs explications causales plausibles.
  • Raisonnement des modèles de langage : En 2024, Edward Hu et ses collègues ont affiné des modèles de langage avec des objectifs GFlowNet afin d'échantillonner des chaînes de raisonnement et des complétions de texte proportionnellement à leur probabilité a posteriori.
  • Apprentissage par renforcement maximisant la récompense : Apprend une politique pour le même type de processus décisionnel, mais maximise la récompense attendue, ce qui concentre la probabilité sur le meilleur objet trouvé.
  • Méthode de Monte-Carlo par chaîne de Markov : Échantillonne également proportionnellement à une récompense, mais chaque échantillon nécessite une longue chaîne de propositions ; un GFlowNet entraîné en produit un en un seul passage, d'où le terme « non itératif » du titre original.
  • Algorithmes évolutionnaires : Effectuent une recherche à l'aide de mutations conçues à la main et d'une sélection pondérée par la fitness, plutôt que d'une politique de construction apprise.
  • Flots normalisants : Partagent le terme « flux », mais transforment des distributions continues au moyen de couches inversibles.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique