Generative Flow Networks (GFlowNets)
Redes de fluxo generativo (GFlowNets) constroem objetos passo a passo e amostram cada um em proporção à sua recompensa, gerando candidatos diversos e com pontuações altas.
Uma rede generativa de fluxo (GFlowNet) é um modelo de aprendizado de máquina que aprende a construir objetos discretos, como moléculas, grafos ou sequências, por meio de uma série de ações, e a amostrar cada objeto concluído com uma probabilidade proporcional a uma recompensa determinada. Um agente de aprendizado por reforço treinado para maximizar a mesma recompensa tende a se fixar no melhor objeto que encontrou, enquanto uma GFlowNet retorna muitos objetos bons e diferentes, em proporção à qualidade deles. Essa diversidade importa quando a recompensa é apenas uma aproximação barata do objetivo real, como quando um modelo propõe candidatos a medicamentos para testes em laboratório. Ao contrário da maioria dos modelos de IA generativa, uma GFlowNet não precisa de dados de treinamento, apenas da função de recompensa. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup e Yoshua Bengio, da Mila, apresentaram as GFlowNets na NeurIPS 2021 em Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.
Fluxos por uma rede de estados#
A geração é um processo de decisão sequencial, como um processo de decisão de Markov (MDP) sem aleatoriedade nas transições. Ela começa em um estado vazio, e cada ação acrescenta um elemento básico, como um átomo, um fragmento molecular, uma aresta de grafo ou um token, até que a política decida parar. Diferentes ordens de ação podem chegar ao mesmo objeto, então os estados formam um grafo acíclico direcionado em vez de uma árvore:
O nome vem da imagem de uma probabilidade como água que flui do estado inicial por esse grafo e escoa de cada objeto concluído a uma taxa igual à sua recompensa. Se o fluxo de entrada for igual ao fluxo de saída em cada estado, uma política direta que percorre cada aresta com probabilidade proporcional ao fluxo produz cada objeto com uma probabilidade igual à sua recompensa dividida pelo fluxo total Z, a soma de todas as recompensas. O artigo original transformou essa condição de consistência do fluxo em uma função de perda de treinamento, análoga à equação de Bellman do aprendizado por diferença temporal.
Treinamento com equilíbrio de trajetórias#
O objetivo de equilíbrio de trajetórias de Nikolay Malkin e colegas (2022) verifica uma trajetória inteira de uma só vez, em vez de verificar cada estado: o fluxo total aprendido Z multiplicado pelo produto das probabilidades da política direta ao longo da trajetória deve ser igual à recompensa multiplicada pelo produto das probabilidades da política inversa, que descrevem como o objeto concluído poderia ser desmontado. A perda é a diferença quadrática entre os logaritmos dos dois lados. Quando cada objeto tem exatamente um caminho de construção, como acontece com cadeias de caracteres construídas da esquerda para a direita, a política inversa é 1 e pode ser eliminada, como neste exemplo em PyTorch:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")Após 2,000 cadeias de caracteres amostradas, as probabilidades da política correspondem às proporções das recompensas com duas casas decimais: 0.03 para cada cadeia com recompensa 1 e 0.48 para 111, cuja recompensa de 16 equivale a cerca de metade do total; o Z aprendido corresponde à soma das recompensas, 33. As GFlowNets reais substituem a tabela de consulta por uma rede neural, geralmente uma rede neural de grafos para moléculas, e exploram com ações aleatórias ou objetos de alta recompensa reproduzidos, pois a política só aprende sobre os objetos que amostra. Um maximizador de recompensa na mesma tarefa concentraria quase toda a probabilidade em 111. O ajuste de hiperparâmetros no Ultralytics YOLO26 aplica manualmente a amostragem ponderada por recompensa: model.tune() escolhe o pai de cada novo candidato entre os 9 melhores resultados, com probabilidade ponderada pela aptidão, e depois o modifica; assim, a busca continua explorando várias configurações boas.
Aplicações#
- Descoberta de medicamentos: O artigo original construiu moléculas a partir de fragmentos, avaliados por um modelo aproximado de ligação à proteína hidrolase epóxido solúvel (sEH), e encontrou mais moléculas distintas de alta recompensa do que os métodos de referência de aprendizado por reforço e Monte Carlo por cadeia de Markov. Moksh Jain e colegas aplicaram GFlowNets ao projeto de peptídeos antimicrobianos em 2022.
- Descoberta causal: A DAG-GFlowNet (Tristan Deleu e colegas, 2022) aproxima a distribuição posterior das estruturas de grafo das redes bayesianas, mantendo várias explicações causais plausíveis em consideração.
- Raciocínio de modelos de linguagem: Edward Hu e colegas ajustaram modelos de linguagem com objetivos GFlowNet em 2024 para amostrar cadeias de raciocínio e preenchimentos de texto em proporção à probabilidade posterior.
GFlowNets e termos relacionados#
- Aprendizado por reforço que maximiza recompensas: Aprende uma política para o mesmo tipo de processo de decisão, mas maximiza a recompensa esperada, concentrando a probabilidade no melhor objeto encontrado.
- Monte Carlo por cadeia de Markov: Também amostra em proporção a uma recompensa, mas cada amostra exige uma longa cadeia de propostas; uma GFlowNet treinada produz uma amostra em uma única passagem, o que corresponde ao termo "não iterativa" do título original.
- Algoritmos evolutivos: Fazem buscas com mutações projetadas manualmente e seleção ponderada pela aptidão, em vez de uma política de construção aprendida.
- Fluxos normalizantes: Compartilham a palavra "fluxo", mas transformam distribuições contínuas por meio de camadas invertíveis.










