Generative Flow Networks (GFlowNets)

Generative Flow Networks, or GFlowNets, are a powerful machine learning framework designed for probabilistic modeling and amortized sampling. They excel at generating discrete, compositional objects by treating the generation process as a sequential decision-making task. Instead of simply maximizing a reward, as is common in traditional reinforcement learning, GFlowNets learn to sample objects with a probability that is proportional to a predefined reward function. This allows them to discover diverse sets of high-reward candidates within exceptionally large sample spaces, effectively mitigating the model collapse that often plagues other generative architectures like Generative Adversarial Networks (GANs).

Link to this section핵심 원칙 및 메커니즘#

GFlowNets은 구조화된 환경을 이동하며 단계별로 구성 요소를 추가하여 최종 객체를 구축하는 방식으로 작동합니다.

• Forward and Backward Policies: neural network가 주어진 상태에서 가능한 행동에 대한 확률 분포를 결정하는 forward policy를 예측합니다. 이러한 상태를 거치는 궤적을 매핑함으로써 모델은 확률의 "흐름(flow)"을 학습합니다.
• Trajectory Balance Loss: Training often relies on optimization objectives like trajectory balance loss, which ensures that the probability of generating a specific object aligns closely with its observed reward. Proper hyperparameter tuning is essential to stabilize this loss function during training.
• Proportional Sampling: 절대적인 최댓값만을 추구하는 대신 보상에 비례하여 샘플링함으로써 GFlowNets은 복잡한 combinatorial spaces를 탐색할 때 필수적인 다양성을 자연스럽게 유지합니다.

Link to this sectionGFlowNets과 다른 생성형 AI 비교#

Generative AI는 다양한 기술을 포함하지만 GFlowNets은 고유한 영역을 차지하고 있습니다. 표준 Diffusion Models이나 Flow Matching과 같은 기술은 일반적으로 연속적인 노이즈 분포를 데이터로 변환합니다. 반면 GFlowNets은 그래프나 시퀀스와 같은 이산적 구조를 생성하도록 명시적으로 조정되었습니다. 더욱이 표준 강화 학습 에이전트가 Markov Decision Process (MDP)를 통해 단일 최적 경로를 찾는 것을 목표로 하는 반면, GFlowNets은 다양한 생성 결과를 보장하기 위해 높은 보상을 얻을 수 있는 여러 경로를 매핑합니다.

Link to this section실제 애플리케이션 사례#

다양하고 고도로 최적화된 후보군을 생성하는 능력 덕분에 GFlowNets은 과학 및 구조적 도메인에서 특히 유용합니다.

• Drug Discovery and Molecular Design: pharmaceutical research 분야에서 GFlowNets은 새로운 치료용 펩타이드와 분자 그래프를 생성하는 데 사용됩니다. Atomic GFlowNets (A-GFN)과 같은 최근의 발전은 원자 단위로 분자를 구축하여 결합 친화도와 합성 접근성과 같은 속성을 최적화합니다. 이 과정은 사전에 정의된 조각에 의존하는 방법보다 더 다양한 약물 후보를 생성합니다.
• Causal Structure Learning: GFlowNets은 인과 Bayesian Networks의 구조를 발견하는 데에도 적용됩니다. 이들은 Directed Acyclic Graphs (DAGs)에 대한 사후 분포를 근사하여 연구자들이 복잡한 데이터 관계를 모델링할 때 epistemic uncertainty에 대한 현실적인 관점을 유지하도록 돕습니다.

Link to this sectionForward Policy 구현#

GFlowNet을 구축할 때 forward policy는 다음에 취할 수 있는 단계에 대한 확률 분포를 예측해야 합니다. 다음 PyTorch 코드 조각은 간단한 정책 계층을 정의하고 행동을 샘플링하는 방법을 보여줍니다. Ultralytics YOLO26과 같은 비전 모델을 구축할 때는 bbox 좌표를 예측해야 하지만, GFlowNet은 생성 경로의 다음 상태를 선택하기 위해 categorical distributions을 사용합니다.

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

Python으로 복잡한 AI 솔루션을 개발하는 경우 Ultralytics Platform을 사용하여 데이터셋을 원활하게 주석 처리하고 모델을 학습 및 배포할 수 있습니다. 고속 object detection 작업에 집중하든 생성형 아키텍처를 탐색하든, 모델을 효과적으로 확장하려면 견고한 machine learning operations (MLOps) 파이프라인이 필수적입니다.