Generative Flow Networks (GFlowNets)

Generative Flow Networks(또는 GFlowNets)은 확률적 모델링과 amortized sampling을 위해 설계된 강력한 machine learning 프레임워크입니다. 이들은 생성 과정을 순차적인 의사결정 작업으로 취급하여 이산적이고 조합 가능한 객체를 생성하는 데 탁월합니다. 전통적인 reinforcement learning에서 흔히 볼 수 있듯이 단순히 보상을 최대화하는 것 대신에, GFlowNets은 사전 정의된 reward function에 비례하는 확률로 객체를 샘플링하는 법을 학습합니다. 이를 통해 예외적으로 큰 샘플 공간 내에서 다양하고 높은 보상을 가진 후보군들을 발견할 수 있으며, Generative Adversarial Networks (GANs)과 같은 다른 생성 아키텍처를 종종 괴롭히는 model collapse를 효과적으로 완화합니다.

핵심 원칙 및 메커니즘#

GFlowNets은 구조화된 환경을 이동하며 단계별로 구성 요소를 추가하여 최종 객체를 구축하는 방식으로 작동합니다.

• Forward and Backward Policies: neural network은 주어진 상태에서 가능한 행동들에 대한 확률 분포를 지시하는 순방향 정책을 예측합니다. 이러한 상태들을 통해 궤적을 매핑함으로써, 모델은 확률의 "흐름"을 학습합니다.
• Trajectory Balance Loss: 훈련은 종종 궤적 균형 손실과 같은 최적화 목표에 의존하며, 이는 특정 객체를 생성할 확률이 관찰된 보상과 긴밀하게 일치하도록 보장합니다. 훈련 중 이 loss function을 안정화하기 위해서는 적절한 hyperparameter tuning이 필수적입니다.
• Proportional Sampling: 절대적인 최댓값을 단순히 추구하는 대신 보상에 비례하여 샘플링함으로써, GFlowNets은 자연스럽게 다양성을 강제하며, 이는 복잡한 combinatorial spaces를 탐색할 때 매우 중요합니다.

GFlowNets과 다른 생성형 AI 비교#

Generative AI가 많은 기법들을 포괄하는 반면, GFlowNets은 독특한 틈새를 차지합니다. 표준 Diffusion Models 또는 Flow Matching과 같은 기법들은 일반적으로 연속적인 노이즈 분포를 데이터로 변환합니다. 대조적으로, GFlowNets은 그래프나 시퀀스와 같은 이산적 구조를 생성하는 데 명시적으로 맞춤화되어 있습니다. 더욱이, 표준 강화학습 에이전트가 Markov Decision Process (MDP)를 통해 단일 최적 경로를 찾는 것을 목표로 하는 반면, GFlowNets은 생성된 출력의 광범위한 다양성을 보장하기 위해 여러 고보상 경로를 매핑합니다.

실제 애플리케이션 사례#

다양하고 고도로 최적화된 후보군을 생성하는 능력 덕분에 GFlowNets은 과학 및 구조적 도메인에서 특히 유용합니다.

• Drug Discovery and Molecular Design: pharmaceutical research에서 GFlowNets은 새로운 치료용 펩타이드와 분자 그래프를 생성하는 데 사용됩니다. 원자 단위 GFlowNets(A-GFN)과 같은 최근의 발전은 결합 친화력 및 합성 접근성과 같은 속성을 최적화하기 위해 원자별로 분자를 구축합니다. 이 과정은 사전 정의된 조각에 의존하는 방법에 비해 더 다양한 약물 후보를 생성합니다.
• Causal Structure Learning: GFlowNets은 인과적 Bayesian Networks의 구조를 발견하는 데도 적용됩니다. 이들은 Directed Acyclic Graphs (DAGs)에 대한 사후 분포를 근사화하여, 연구원들이 복잡한 데이터 관계를 모델링할 때 epistemic uncertainty에 대한 현실적인 관점을 유지할 수 있도록 돕습니다.

Forward Policy 구현#

GFlowNet을 구축할 때 순방향 정책은 다음 가능한 단계에 대한 확률 분포를 예측해야 합니다. 다음 PyTorch 스니펫은 간단한 정책 계층을 정의하고 액션을 샘플링하는 방법을 보여줍니다. Ultralytics YOLO26과 같은 비전 모델을 구축하려면 바운딩 박스 좌표를 예측해야 하지만, GFlowNet은 생성 경로에서 다음 상태를 선택하기 위해 categorical distributions을 사용합니다.

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

Python으로 복잡한 AI 솔루션을 개발하는 경우, Ultralytics Platform을 사용하여 원활하게 데이터셋을 주석 처리하고, 모델을 훈련하며, 배포할 수 있습니다. 고속 object detection 작업에 집중하든 생성 아키텍처를 탐색하든, 탄탄한 machine learning operations (MLOps) 파이프라인을 갖추는 것은 모델을 효과적으로 확장하는 데 필수적입니다.