Licenciar o YOLO
Voltar ao glossário da Ultralytics

Generative Flow Networks (GFlowNets)

Redes de fluxo generativo (GFlowNets) constroem objetos passo a passo e amostram cada um em proporção à sua recompensa, gerando candidatos diversos e com pontuações altas.

Uma rede generativa de fluxo (GFlowNet) é um modelo de aprendizado de máquina que aprende a construir objetos discretos, como moléculas, grafos ou sequências, por meio de uma série de ações, e a amostrar cada objeto concluído com uma probabilidade proporcional a uma recompensa determinada. Um agente de aprendizado por reforço treinado para maximizar a mesma recompensa tende a se fixar no melhor objeto que encontrou, enquanto uma GFlowNet retorna muitos objetos bons e diferentes, em proporção à qualidade deles. Essa diversidade importa quando a recompensa é apenas uma aproximação barata do objetivo real, como quando um modelo propõe candidatos a medicamentos para testes em laboratório. Ao contrário da maioria dos modelos de IA generativa, uma GFlowNet não precisa de dados de treinamento, apenas da função de recompensa. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup e Yoshua Bengio, da Mila, apresentaram as GFlowNets na NeurIPS 2021 em Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.

Fluxos por uma rede de estados#

A geração é um processo de decisão sequencial, como um processo de decisão de Markov (MDP) sem aleatoriedade nas transições. Ela começa em um estado vazio, e cada ação acrescenta um elemento básico, como um átomo, um fragmento molecular, uma aresta de grafo ou um token, até que a política decida parar. Diferentes ordens de ação podem chegar ao mesmo objeto, então os estados formam um grafo acíclico direcionado em vez de uma árvore:

O nome vem da imagem de uma probabilidade como água que flui do estado inicial por esse grafo e escoa de cada objeto concluído a uma taxa igual à sua recompensa. Se o fluxo de entrada for igual ao fluxo de saída em cada estado, uma política direta que percorre cada aresta com probabilidade proporcional ao fluxo produz cada objeto com uma probabilidade igual à sua recompensa dividida pelo fluxo total Z, a soma de todas as recompensas. O artigo original transformou essa condição de consistência do fluxo em uma função de perda de treinamento, análoga à equação de Bellman do aprendizado por diferença temporal.

Treinamento com equilíbrio de trajetórias#

O objetivo de equilíbrio de trajetórias de Nikolay Malkin e colegas (2022) verifica uma trajetória inteira de uma só vez, em vez de verificar cada estado: o fluxo total aprendido Z multiplicado pelo produto das probabilidades da política direta ao longo da trajetória deve ser igual à recompensa multiplicada pelo produto das probabilidades da política inversa, que descrevem como o objeto concluído poderia ser desmontado. A perda é a diferença quadrática entre os logaritmos dos dois lados. Quando cada objeto tem exatamente um caminho de construção, como acontece com cadeias de caracteres construídas da esquerda para a direita, a política inversa é 1 e pode ser eliminada, como neste exemplo em PyTorch:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

Após 2,000 cadeias de caracteres amostradas, as probabilidades da política correspondem às proporções das recompensas com duas casas decimais: 0.03 para cada cadeia com recompensa 1 e 0.48 para 111, cuja recompensa de 16 equivale a cerca de metade do total; o Z aprendido corresponde à soma das recompensas, 33. As GFlowNets reais substituem a tabela de consulta por uma rede neural, geralmente uma rede neural de grafos para moléculas, e exploram com ações aleatórias ou objetos de alta recompensa reproduzidos, pois a política só aprende sobre os objetos que amostra. Um maximizador de recompensa na mesma tarefa concentraria quase toda a probabilidade em 111. O ajuste de hiperparâmetros no Ultralytics YOLO26 aplica manualmente a amostragem ponderada por recompensa: model.tune() escolhe o pai de cada novo candidato entre os 9 melhores resultados, com probabilidade ponderada pela aptidão, e depois o modifica; assim, a busca continua explorando várias configurações boas.

Aplicações#

  • Descoberta de medicamentos: O artigo original construiu moléculas a partir de fragmentos, avaliados por um modelo aproximado de ligação à proteína hidrolase epóxido solúvel (sEH), e encontrou mais moléculas distintas de alta recompensa do que os métodos de referência de aprendizado por reforço e Monte Carlo por cadeia de Markov. Moksh Jain e colegas aplicaram GFlowNets ao projeto de peptídeos antimicrobianos em 2022.
  • Descoberta causal: A DAG-GFlowNet (Tristan Deleu e colegas, 2022) aproxima a distribuição posterior das estruturas de grafo das redes bayesianas, mantendo várias explicações causais plausíveis em consideração.
  • Raciocínio de modelos de linguagem: Edward Hu e colegas ajustaram modelos de linguagem com objetivos GFlowNet em 2024 para amostrar cadeias de raciocínio e preenchimentos de texto em proporção à probabilidade posterior.
  • Aprendizado por reforço que maximiza recompensas: Aprende uma política para o mesmo tipo de processo de decisão, mas maximiza a recompensa esperada, concentrando a probabilidade no melhor objeto encontrado.
  • Monte Carlo por cadeia de Markov: Também amostra em proporção a uma recompensa, mas cada amostra exige uma longa cadeia de propostas; uma GFlowNet treinada produz uma amostra em uma única passagem, o que corresponde ao termo "não iterativa" do título original.
  • Algoritmos evolutivos: Fazem buscas com mutações projetadas manualmente e seleção ponderada pela aptidão, em vez de uma política de construção aprendida.
  • Fluxos normalizantes: Compartilham a palavra "fluxo", mas transformam distribuições contínuas por meio de camadas invertíveis.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina