获取 YOLO 许可
返回 Ultralytics 术语表

Generative Flow Networks (GFlowNets)

生成流网络(GFlowNets)逐步构建对象,并根据奖励比例对每个对象进行采样,从而生成多样且得分较高的候选对象。

生成流网络(GFlowNet)是一种机器学习模型,它通过一系列操作学习构建离散对象,例如分子、图或序列,并按照给定奖励成比例的概率对每个完成的对象进行采样。经过训练、用于最大化同一奖励的强化学习智能体往往会收敛到它找到的单个最佳对象,而 GFlowNet 会根据对象的优劣比例返回多个不同的优质对象。当奖励只是实际目标的低成本替代指标时,这种多样性很重要,例如模型提出候选药物供实验室测试。与大多数生成式 AI模型不同,GFlowNet 不需要训练数据,只需要奖励函数。Mila 的 Emmanuel Bengio、Moksh Jain、Maksym Korablyov、Doina Precup 和 Yoshua Bengio 于 NeurIPS 2021 发表了《基于流网络的非迭代多样候选生成模型》,并提出了 GFlowNet。

在状态网络中流动#

生成是一个序贯决策过程,类似于转换不带随机性的马尔可夫决策过程(MDP)。它从空状态开始,每次操作添加一个构建块,例如原子、分子片段、图边或token,直到策略选择停止。不同的操作顺序可能到达同一对象,因此状态构成的是有向无环图,而不是树:

这个名称源于将概率想象成水:水从起始状态流经该图,并以与奖励相等的速率从每个完成的对象流出。如果每个状态的流入量都等于流出量,那么按照流量比例选择每条边的前向策略,就会以等于对象奖励除以总流量 Z 的概率生成该对象;总流量 Z 是所有奖励之和。原论文将这种流量一致性条件转化为训练损失函数,类似于时序差分学习中的贝尔曼方程。

使用轨迹平衡进行训练#

Nikolay Malkin 及其同事于 2022 年提出的轨迹平衡目标会一次检查整条轨迹,而不是逐个检查状态:学习得到的总流量 Z 乘以沿轨迹各步前向策略概率的乘积,必须等于奖励乘以反向策略概率的乘积;反向策略描述了如何拆解完成后的对象。损失是两边对数之差的平方。如果每个对象都只有一条构建路径,例如从左到右构建的字符串,那么反向策略为 1,可直接省略,下面是一个 PyTorch示例:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

对 2,000 个采样字符串进行训练后,策略概率与奖励占比的匹配精度达到小数点后两位:每个奖励为 1 的字符串概率为 0.03,而 111 的概率为 0.48,其奖励为 16,约占总奖励的一半;学习得到的 Z 等于奖励总和 33。实际的 GFlowNet 会使用神经网络替代查找表,通常会为分子使用图神经网络,并通过随机操作或重放高奖励对象来探索,因为策略只会学习它采样过的对象。在同一任务中,奖励最大化器几乎会把所有概率都放在 111 上。超参数调优在 Ultralytics YOLO26中手动应用了奖励加权采样:model.tune()会根据适应度加权,以概率方式从 9 个最佳结果中选取每个新候选项的父项,然后对其进行变异,因此搜索会继续探索多个优质配置。

应用场景#

  • 药物发现:原论文通过分子片段构建分子,并使用预测其与可溶性环氧化物水解酶(sEH)蛋白结合情况的替代模型进行评分;与强化学习和马尔可夫链蒙特卡洛基线相比,该方法发现了更多不同的高奖励分子。Moksh Jain 及其同事于 2022 年将 GFlowNet 应用于抗菌肽设计。
  • 因果发现:DAG-GFlowNet(Tristan Deleu 及其同事,2022)会近似贝叶斯网络图结构的后验分布,从而保留多种合理的因果解释。
  • 语言模型推理:Edward Hu 及其同事于 2024 年使用 GFlowNet 目标微调语言模型,使其按照后验概率比例采样推理链和文本填充内容。
  • 奖励最大化强化学习:针对同类决策过程学习策略,但会最大化期望奖励,从而将概率集中在找到的最佳对象上。
  • 马尔可夫链蒙特卡洛:同样按照奖励比例进行采样,但每次采样都需要一条很长的提议链;训练好的 GFlowNet 一次前向计算就能生成一个样本,这就是原论文标题中“非迭代”的含义。
  • 进化算法:使用人工设计的变异和按适应度加权的选择进行搜索,而不是使用学习得到的构建策略。
  • 归一化流:虽然名称中也有“流”,但它通过可逆层变换连续分布。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来