Generative Flow Networks (GFlowNets)
生成流网络(GFlowNets)逐步构建对象,并根据奖励比例对每个对象进行采样,从而生成多样且得分较高的候选对象。
生成流网络(GFlowNet)是一种机器学习模型,它通过一系列操作学习构建离散对象,例如分子、图或序列,并按照给定奖励成比例的概率对每个完成的对象进行采样。经过训练、用于最大化同一奖励的强化学习智能体往往会收敛到它找到的单个最佳对象,而 GFlowNet 会根据对象的优劣比例返回多个不同的优质对象。当奖励只是实际目标的低成本替代指标时,这种多样性很重要,例如模型提出候选药物供实验室测试。与大多数生成式 AI模型不同,GFlowNet 不需要训练数据,只需要奖励函数。Mila 的 Emmanuel Bengio、Moksh Jain、Maksym Korablyov、Doina Precup 和 Yoshua Bengio 于 NeurIPS 2021 发表了《基于流网络的非迭代多样候选生成模型》,并提出了 GFlowNet。
在状态网络中流动#
生成是一个序贯决策过程,类似于转换不带随机性的马尔可夫决策过程(MDP)。它从空状态开始,每次操作添加一个构建块,例如原子、分子片段、图边或token,直到策略选择停止。不同的操作顺序可能到达同一对象,因此状态构成的是有向无环图,而不是树:
这个名称源于将概率想象成水:水从起始状态流经该图,并以与奖励相等的速率从每个完成的对象流出。如果每个状态的流入量都等于流出量,那么按照流量比例选择每条边的前向策略,就会以等于对象奖励除以总流量 Z 的概率生成该对象;总流量 Z 是所有奖励之和。原论文将这种流量一致性条件转化为训练损失函数,类似于时序差分学习中的贝尔曼方程。
使用轨迹平衡进行训练#
Nikolay Malkin 及其同事于 2022 年提出的轨迹平衡目标会一次检查整条轨迹,而不是逐个检查状态:学习得到的总流量 Z 乘以沿轨迹各步前向策略概率的乘积,必须等于奖励乘以反向策略概率的乘积;反向策略描述了如何拆解完成后的对象。损失是两边对数之差的平方。如果每个对象都只有一条构建路径,例如从左到右构建的字符串,那么反向策略为 1,可直接省略,下面是一个 PyTorch示例:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")对 2,000 个采样字符串进行训练后,策略概率与奖励占比的匹配精度达到小数点后两位:每个奖励为 1 的字符串概率为 0.03,而 111 的概率为 0.48,其奖励为 16,约占总奖励的一半;学习得到的 Z 等于奖励总和 33。实际的 GFlowNet 会使用神经网络替代查找表,通常会为分子使用图神经网络,并通过随机操作或重放高奖励对象来探索,因为策略只会学习它采样过的对象。在同一任务中,奖励最大化器几乎会把所有概率都放在 111 上。超参数调优在 Ultralytics YOLO26中手动应用了奖励加权采样:model.tune()会根据适应度加权,以概率方式从 9 个最佳结果中选取每个新候选项的父项,然后对其进行变异,因此搜索会继续探索多个优质配置。
应用场景#
- 药物发现:原论文通过分子片段构建分子,并使用预测其与可溶性环氧化物水解酶(sEH)蛋白结合情况的替代模型进行评分;与强化学习和马尔可夫链蒙特卡洛基线相比,该方法发现了更多不同的高奖励分子。Moksh Jain 及其同事于 2022 年将 GFlowNet 应用于抗菌肽设计。
- 因果发现:DAG-GFlowNet(Tristan Deleu 及其同事,2022)会近似贝叶斯网络图结构的后验分布,从而保留多种合理的因果解释。
- 语言模型推理:Edward Hu 及其同事于 2024 年使用 GFlowNet 目标微调语言模型,使其按照后验概率比例采样推理链和文本填充内容。










