Generative Flow Networks (GFlowNets)

Generative Flow Networks, or GFlowNets, are a powerful machine learning framework designed for probabilistic modeling and amortized sampling. They excel at generating discrete, compositional objects by treating the generation process as a sequential decision-making task. Instead of simply maximizing a reward, as is common in traditional reinforcement learning, GFlowNets learn to sample objects with a probability that is proportional to a predefined reward function. This allows them to discover diverse sets of high-reward candidates within exceptionally large sample spaces, effectively mitigating the model collapse that often plagues other generative architectures like Generative Adversarial Networks (GANs).

Link to this section核心原理与机制#

GFlowNets 通过在一个结构化环境中移动，逐步添加构建块来构造最终对象。

• 前向和后向策略： 神经网络预测一种前向策略，规定了给定状态下可能采取动作的概率分布。通过映射这些状态的轨迹，模型学习到了概率的“流”。
• 轨迹平衡损失： 训练通常依赖于诸如轨迹平衡损失之类的优化目标，这确保了生成特定对象的概率与其观察到的奖励高度一致。适当的超参数调优对于在训练期间稳定此损失函数至关重要。
• 比例采样： 通过与奖励成比例地采样，而不是仅仅寻求绝对最大值，GFlowNets 自然地强化了多样性，这在探索复杂的组合空间时至关重要。

Link to this sectionGFlowNets 与其他生成式 AI 的对比#

尽管生成式 AI包含了许多技术，但 GFlowNets 占据了一个独特的利基市场。标准的扩散模型或诸如流匹配等技术通常将连续噪声分布转换为数据。相比之下，GFlowNets 专门针对生成离散结构（如图形或序列）进行了定制。此外，标准的强化学习智能体旨在通过马尔可夫决策过程 (MDP) 找到单一的最优路径，而 GFlowNets 则规划出多条高奖励路径，以确保生成输出的广泛多样性。

Link to this section实际应用#

能够生成多样化且经过高度优化的候选对象的能力，使得 GFlowNets 在科学和结构领域尤为重要。

• 药物发现与分子设计： 在药物研发中，GFlowNets 被用于生成新型治疗性肽和分子图。最近的进展，例如原子 GFlowNets (A-GFN)，通过逐个原子构建分子来优化结合亲和力和合成可及性等属性。与依赖预定义片段的方法相比，这一过程创造了更多样化的药物候选对象。
• 因果结构学习： GFlowNets 也被应用于发现因果贝叶斯网络的结构。它们近似于有向无环图 (DAGs) 上的后验分布，帮助研究人员在建模复杂数据关系时保持对认知不确定性的现实看法。

Link to this section实现前向策略#

在构建 GFlowNet 时，前向策略必须预测下一个可能步骤的概率分布。以下 PyTorch 代码片段展示了如何定义一个简单的策略层并采样一个动作。虽然构建诸如 Ultralytics YOLO26 之类的视觉模型需要预测边界框坐标，但 GFlowNet 使用分类分布来选择生成路径中的下一个状态。

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

如果你正在使用 Python 开发复杂的 AI 解决方案，你可以使用 Ultralytics Platform 无缝地标注数据集、训练和部署模型。无论你是专注于高速目标检测任务，还是在探索生成式架构，拥有一个稳健的机器学习运维 (MLOps) 管道对于有效地扩展你的模型至关重要。