YOLOのライセンス
Ultralytics用語集に戻る

Generative Flow Networks (GFlowNets)

生成フローネットワーク(GFlowNets)は、オブジェクトを段階的に構築し、報酬に比例した確率で各オブジェクトをサンプリングすることで、多様でスコアの高い候補を生成します。

生成フローネットワーク(GFlowNet)は、分子、グラフ、系列などの離散オブジェクトを一連のアクションで構築し、完成した各オブジェクトを所定の報酬に比例する確率でサンプリングすることを学習する機械学習モデルです。同じ報酬の最大化を目指して学習した強化学習エージェントは、見つけた単一の最良オブジェクトに落ち着く傾向があります。一方、GFlowNetは、良さに比例してさまざまな良質なオブジェクトを返します。報酬が本来の目標の安価な代理指標にすぎない場合、この多様性は重要です。たとえば、モデルが実験室でのテスト用に薬剤候補を提案する場合が該当します。ほとんどの生成AIモデルとは異なり、GFlowNetの学習に必要なのは報酬関数だけで、学習データは不要です。MilaのEmmanuel Bengio氏、Moksh Jain氏、Maksym Korablyov氏、Doina Precup氏、Yoshua Bengio氏は、NeurIPS 2021でFlow Network based Generative Models for Non-Iterative Diverse Candidate Generationを発表し、GFlowNetを紹介しました。

状態ネットワークを流れるフロー#

生成は、遷移にランダム性のないマルコフ決定過程(MDP)のような逐次的な意思決定プロセスです。空の状態から始まり、ポリシーが停止を選ぶまで、各アクションで原子、分子断片、グラフのエッジ、トークンなどの構成要素を1つ追加します。異なるアクションの順序から同じオブジェクトに到達できるため、状態は木ではなく有向非巡回グラフを形成します。

この名称は、確率を、開始状態からこのグラフを流れ、完成した各オブジェクトからその報酬に等しい割合で流出する水に見立てたことに由来します。すべての状態で流入量と流出量が等しければ、各エッジをそのフローに比例する確率でたどる順方向ポリシーは、各オブジェクトを報酬を総フローZ(すべての報酬の合計)で割った確率で生成します。原論文では、このフロー整合性条件を、時間差学習のベルマン方程式に類似した学習用の損失関数に変換しました。

軌跡バランスによる学習#

Nikolay Malkin氏らの軌跡バランス目的関数(2022年)は、各状態ではなく軌跡全体を一度に確認します。学習した総フローZと、軌跡に沿った順方向ポリシー確率の積は、報酬と、完成したオブジェクトを分解する方法を表す逆方向ポリシー確率の積が等しくなければなりません。損失は、両辺の対数の差の二乗です。左から右へ構築する文字列のように、各オブジェクトの構築経路が1つだけの場合、逆方向ポリシーは1となり、以下のPyTorchの例のように式から消えます。

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

2,000個の文字列をサンプリングした後、ポリシーの確率は報酬の割合と小数第2位まで一致します。報酬1の文字列はそれぞれ0.03、報酬16の111は総報酬の約半分にあたる0.48となり、学習されたZは報酬の合計である33に一致します。実際のGFlowNetでは、ルックアップテーブルをニューラルネットワークに置き換えます。分子の場合はグラフニューラルネットワークがよく使われます。また、ポリシーはサンプリングしたオブジェクトしか学習しないため、ランダムなアクションや報酬の高いオブジェクトの再生によって探索します。同じタスクで報酬を最大化するだけなら、確率のほぼすべてが111に集中します。Ultralytics YOLO26のハイパーパラメーター調整では、報酬で重み付けしたサンプリングを手動で適用します。model.tune()は、新しい候補ごとに適応度で重み付けした確率で上位9件の結果から親を選び、変異を加えるため、複数の良好な構成の周辺を探索し続けます。

用途#

  • 創薬: 原論文では、可溶性エポキシド加水分解酵素(sEH)タンパク質への結合を代理モデルでスコアリングしながら、分子断片から分子を構築しました。強化学習やマルコフ連鎖モンテカルロのベースラインより、多くの種類の高報酬分子が見つかりました。Moksh Jain氏らは2022年、抗菌ペプチドの設計にGFlowNetを適用しました。
  • 因果発見: DAG-GFlowNet(Tristan Deleu氏ら、2022年)は、ベイジアンネットワークのグラフ構造に関する事後分布を近似し、複数の妥当な因果説明を同時に検討できるようにします。
  • 言語モデルの推論: Edward Hu氏らは2024年、GFlowNetの目的関数で言語モデルをファインチューニングし、事後確率に比例して推論チェーンやテキスト補完をサンプリングしました。
  • 報酬最大化型強化学習: 同じ種類の意思決定プロセスに対するポリシーを学習しますが、期待報酬を最大化するため、見つけた最良のオブジェクトに確率が集中します。
  • マルコフ連鎖モンテカルロ: 報酬に比例してサンプリングする点は同じですが、各サンプルには長い提案列が必要です。学習済みのGFlowNetなら1回の処理で生成でき、これが原論文のタイトルにある「非反復」の意味です。
  • 進化的アルゴリズム: 学習済みの構築ポリシーではなく、手作業で設計した変異と適応度に基づく選択によって探索します。
  • 正規化フロー: 「フロー」という語は共通していますが、可逆層を通じて連続分布を変換します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう