Generative Flow Networks (GFlowNets)
생성 플로 네트워크(GFlowNets)는 객체를 단계별로 구축하고 보상에 비례하는 확률로 각 객체를 샘플링하여 다양하면서도 높은 점수를 얻는 후보를 생성합니다.
생성 플로 네트워크(GFlowNet)는 분자, 그래프, 시퀀스와 같은 이산 객체를 일련의 동작으로 생성하고, 주어진 보상에 비례하는 확률로 완성된 각 객체를 샘플링하도록 학습하는 머신러닝 모델입니다. 동일한 보상을 최대화하도록 학습된 강화 학습 에이전트는 발견한 단일 최적 객체에 수렴하는 경향이 있지만, GFlowNet은 객체의 성능에 비례해 여러 우수한 객체를 반환합니다. 보상이 실제 목표를 저렴하게 근사하는 경우 이러한 다양성이 중요합니다. 예를 들어 모델이 실험실 테스트용 약물 후보를 제안하는 경우가 그렇습니다. 대부분의 생성형 AI 모델과 달리 GFlowNet에는 학습 데이터가 필요 없고 보상 함수만 필요합니다. Mila의 Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup, Yoshua Bengio는 NeurIPS 2021에서 흐름 네트워크 기반 비반복적 다중 후보 생성 모델 논문으로 GFlowNet을 소개했습니다.
상태 네트워크를 통한 흐름#
생성은 전이 과정에 무작위성이 없는 마르코프 결정 과정(MDP)과 같은 순차적 의사 결정 과정입니다. 빈 상태에서 시작해 각 동작으로 원자, 분자 조각, 그래프 간선, 토큰 등의 구성 요소를 하나씩 추가하다가 정책이 종료를 선택할 때까지 진행합니다. 동작 순서가 달라도 같은 객체에 도달할 수 있으므로 상태는 트리가 아니라 방향성 비순환 그래프를 이룹니다:
이 이름은 확률을 시작 상태에서 그래프를 따라 흐르고 각 완성된 객체에서 보상과 같은 비율로 빠져나가는 물로 상상한 데서 유래했습니다. 모든 상태에서 유입량과 유출량이 같으면 각 간선을 흐름에 비례하는 확률로 선택하는 순방향 정책은 모든 객체를 보상을 총 흐름 Z, 즉 모든 보상의 합으로 나눈 확률로 생성합니다. 원 논문은 이 흐름 일관성 조건을 시간차 학습의 Bellman 방정식과 유사한 학습용 손실 함수로 변환했습니다.
궤적 균형을 사용한 학습#
Nikolay Malkin과 동료들이 2022년에 제안한 궤적 균형 목적 함수는 각 상태를 따로 검사하는 대신 전체 궤적을 한 번에 검사합니다. 학습된 총 흐름 Z에 궤적을 따라 순방향 정책 확률을 모두 곱한 값은 보상에 역방향 정책 확률의 곱을 곱한 값과 같아야 합니다. 역방향 정책은 완성된 객체를 분해하는 방법을 나타냅니다. 손실은 양쪽 값의 로그 간 차이의 제곱입니다. 왼쪽에서 오른쪽으로 만든 문자열처럼 모든 객체의 생성 경로가 정확히 하나라면 역방향 정책은 1이므로 제외할 수 있습니다. 다음은 PyTorch 예제입니다:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")문자열을 2,000개 샘플링한 뒤 정책 확률은 소수점 둘째 자리까지 보상 비율과 일치합니다. 보상 1인 각 문자열은 0.03이며, 보상 16으로 전체의 약 절반을 차지하는 111은 0.48입니다. 학습된 Z는 전체 보상의 합인 33과 같습니다. 실제 GFlowNet은 조회 테이블을 신경망으로 대체하며, 분자에는 흔히 그래프 신경망을 사용하고, 무작위 동작이나 높은 보상을 받은 객체의 리플레이로 탐색합니다. 정책은 샘플링한 객체만 학습하기 때문입니다. 동일한 작업에서 보상 최대화 모델은 확률 대부분을 111에 할당합니다. Ultralytics YOLO26의 하이퍼파라미터 튜닝은 보상 가중 샘플링을 직접 적용합니다. model.tune()은 적합도에 비례하는 확률로 상위 9개 결과 중 하나를 새 후보의 부모로 선택한 다음 변이시켜, 여러 우수한 설정 주변을 계속 탐색합니다.
응용 분야#
- 신약 개발: 원 논문은 가용성 에폭사이드 가수분해효소(sEH) 단백질과의 결합을 예측하는 대리 모델로 점수를 매기며 분자 조각으로 분자를 만들었고, 강화 학습 및 마르코프 체인 몬테카를로 기준 모델보다 보상이 높은 고유 분자를 더 많이 발견했습니다. Moksh Jain과 동료들은 2022년에 항균 펩타이드 설계에 GFlowNet을 적용했습니다.
- 인과 관계 발견: DAG-GFlowNet(Tristan Deleu와 동료들, 2022)은 베이지안 네트워크의 그래프 구조에 대한 사후 분포를 근사해 여러 가지 타당한 인과 설명을 고려합니다.
- 언어 모델 추론: Edward Hu와 동료들은 2024년에 GFlowNet 목적 함수로 언어 모델을 미세 조정해 사후 확률에 비례하여 추론 체인과 텍스트 삽입 내용을 샘플링했습니다.
GFlowNet과 관련 용어 비교#
- 보상 최대화 강화 학습: 같은 종류의 의사 결정 과정에 대한 정책을 학습하지만 기대 보상을 최대화하므로, 발견한 최적 객체에 확률이 집중됩니다.
- 마르코프 체인 몬테카를로: 보상에 비례해 샘플링하지만 각 샘플을 얻으려면 긴 제안 체인이 필요합니다. 학습된 GFlowNet은 한 번의 순전파로 샘플 하나를 생성하며, 이것이 원 논문 제목에서 말하는 '비반복적'의 의미입니다.
- 진화 알고리즘: 학습된 생성 정책 대신 직접 설계한 변이와 적합도 가중 선택으로 탐색합니다.
- 정규화 플로: '플로'라는 단어를 공유하지만, 가역 계층을 통해 연속 분포를 변환합니다.










