Generative Flow Networks (GFlowNets)

Generative Flow Networks，即 GFlowNets，是一个强大的机器学习框架，专为概率建模和摊还采样而设计。它们擅长通过将生成过程视为顺序决策任务来生成离散的、组合式的对象。与传统强化学习中常见的单纯最大化奖励不同，GFlowNets 学习以与预定义奖励函数成比例的概率来对对象进行采样。这使它们能够在极大的样本空间中发现多样的高奖励候选集，有效缓解了常困扰其他生成架构（如生成对抗网络 (GANs)）的模型坍塌。

核心原理与机制#

GFlowNets 通过在一个结构化环境中移动，逐步添加构建块来构造最终对象。

• **前向与后向策略：**一个神经网络预测前向策略，决定给定状态下可能动作的概率分布。通过绘制这些状态之间的轨迹，模型可以学习概率的“流”。
• **轨迹平衡损失：**训练通常依赖于轨迹平衡损失等优化目标，这能确保生成特定对象的概率与其观察到的奖励紧密对齐。适当的超参数调整对于在训练期间稳定此损失函数至关重要。
• **比例采样：**通过按奖励比例采样而不是仅追求绝对最大值，GFlowNets 自然地强制实现了多样性，这在探索复杂的组合空间时至关重要。

GFlowNets 与其他生成式 AI 的对比#

虽然生成式 AI 包含许多技术，但 GFlowNets 占据了一个独特的利基。标准的扩散模型或诸如流匹配等技术通常将连续噪声分布转换为数据。相比之下，GFlowNets 专门量身定制用于生成离散结构，例如图或序列。此外，标准的强化学习智能体旨在使用马尔可夫决策过程 (MDP) 找到单一最优路径，而 GFlowNets 则规划多条高奖励路径，以确保生成输出的广泛多样性。

实际应用#

能够生成多样化且经过高度优化的候选对象的能力，使得 GFlowNets 在科学和结构领域尤为重要。

• **药物发现与分子设计：**在药物研发中，GFlowNets 用于生成新型治疗肽和分子图。近期的进展（如原子 GFlowNets 或 A-GFN）以原子为单位构建分子，以优化结合亲和力和合成可及性等属性。与依赖预定义片段的方法相比，此过程可产生更多样化的药物候选物。
• **因果结构学习：**GFlowNets 还被应用于发现因果贝叶斯网络的结构。它们近似估计有向无环图 (DAGs) 上的后验分布，帮助研究人员在建模复杂的政企或数据关系时对认知不确定性保持现实的视角。

实现前向策略#

在构建 GFlowNet 时，前向策略必须预测下一个可能步骤的概率分布。以下 PyTorch 片段演示了如何定义简单的策略层并对动作进行采样。虽然构建诸如 Ultralytics YOLO26 的视觉模型需要预测边界框坐标，但 GFlowNet 使用分类分布来选择其生成路径中的下一个状态。

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

如果你正在使用 Python 开发复杂的 AI 解决方案，你可以使用 Ultralytics Platform 无缝注释数据集、训练和部署模型。无论你专注于高速目标检测任务还是探索生成式架构，拥有扎实的机器学习运维 (MLOps) 流水线对于有效扩展你的模型都至关重要。