Generative Flow Networks (GFlowNets)
生成フローネットワーク(GFlowNets)は、オブジェクトを段階的に構築し、報酬に比例した確率で各オブジェクトをサンプリングすることで、多様でスコアの高い候補を生成します。
生成フローネットワーク(GFlowNet)は、分子、グラフ、系列などの離散オブジェクトを一連のアクションで構築し、完成した各オブジェクトを所定の報酬に比例する確率でサンプリングすることを学習する機械学習モデルです。同じ報酬の最大化を目指して学習した強化学習エージェントは、見つけた単一の最良オブジェクトに落ち着く傾向があります。一方、GFlowNetは、良さに比例してさまざまな良質なオブジェクトを返します。報酬が本来の目標の安価な代理指標にすぎない場合、この多様性は重要です。たとえば、モデルが実験室でのテスト用に薬剤候補を提案する場合が該当します。ほとんどの生成AIモデルとは異なり、GFlowNetの学習に必要なのは報酬関数だけで、学習データは不要です。MilaのEmmanuel Bengio氏、Moksh Jain氏、Maksym Korablyov氏、Doina Precup氏、Yoshua Bengio氏は、NeurIPS 2021でFlow Network based Generative Models for Non-Iterative Diverse Candidate Generationを発表し、GFlowNetを紹介しました。
状態ネットワークを流れるフロー#
生成は、遷移にランダム性のないマルコフ決定過程(MDP)のような逐次的な意思決定プロセスです。空の状態から始まり、ポリシーが停止を選ぶまで、各アクションで原子、分子断片、グラフのエッジ、トークンなどの構成要素を1つ追加します。異なるアクションの順序から同じオブジェクトに到達できるため、状態は木ではなく有向非巡回グラフを形成します。
この名称は、確率を、開始状態からこのグラフを流れ、完成した各オブジェクトからその報酬に等しい割合で流出する水に見立てたことに由来します。すべての状態で流入量と流出量が等しければ、各エッジをそのフローに比例する確率でたどる順方向ポリシーは、各オブジェクトを報酬を総フローZ(すべての報酬の合計)で割った確率で生成します。原論文では、このフロー整合性条件を、時間差学習のベルマン方程式に類似した学習用の損失関数に変換しました。
軌跡バランスによる学習#
Nikolay Malkin氏らの軌跡バランス目的関数(2022年)は、各状態ではなく軌跡全体を一度に確認します。学習した総フローZと、軌跡に沿った順方向ポリシー確率の積は、報酬と、完成したオブジェクトを分解する方法を表す逆方向ポリシー確率の積が等しくなければなりません。損失は、両辺の対数の差の二乗です。左から右へ構築する文字列のように、各オブジェクトの構築経路が1つだけの場合、逆方向ポリシーは1となり、以下のPyTorchの例のように式から消えます。
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")2,000個の文字列をサンプリングした後、ポリシーの確率は報酬の割合と小数第2位まで一致します。報酬1の文字列はそれぞれ0.03、報酬16の111は総報酬の約半分にあたる0.48となり、学習されたZは報酬の合計である33に一致します。実際のGFlowNetでは、ルックアップテーブルをニューラルネットワークに置き換えます。分子の場合はグラフニューラルネットワークがよく使われます。また、ポリシーはサンプリングしたオブジェクトしか学習しないため、ランダムなアクションや報酬の高いオブジェクトの再生によって探索します。同じタスクで報酬を最大化するだけなら、確率のほぼすべてが111に集中します。Ultralytics YOLO26のハイパーパラメーター調整では、報酬で重み付けしたサンプリングを手動で適用します。model.tune()は、新しい候補ごとに適応度で重み付けした確率で上位9件の結果から親を選び、変異を加えるため、複数の良好な構成の周辺を探索し続けます。
用途#
- 創薬: 原論文では、可溶性エポキシド加水分解酵素(sEH)タンパク質への結合を代理モデルでスコアリングしながら、分子断片から分子を構築しました。強化学習やマルコフ連鎖モンテカルロのベースラインより、多くの種類の高報酬分子が見つかりました。Moksh Jain氏らは2022年、抗菌ペプチドの設計にGFlowNetを適用しました。
- 因果発見: DAG-GFlowNet(Tristan Deleu氏ら、2022年)は、ベイジアンネットワークのグラフ構造に関する事後分布を近似し、複数の妥当な因果説明を同時に検討できるようにします。
- 言語モデルの推論: Edward Hu氏らは2024年、GFlowNetの目的関数で言語モデルをファインチューニングし、事後確率に比例して推論チェーンやテキスト補完をサンプリングしました。










