YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Generative Flow Networks (GFlowNets)

생성 플로 네트워크(GFlowNets)는 객체를 단계별로 구축하고 보상에 비례하는 확률로 각 객체를 샘플링하여 다양하면서도 높은 점수를 얻는 후보를 생성합니다.

생성 플로 네트워크(GFlowNet)는 분자, 그래프, 시퀀스와 같은 이산 객체를 일련의 동작으로 생성하고, 주어진 보상에 비례하는 확률로 완성된 각 객체를 샘플링하도록 학습하는 머신러닝 모델입니다. 동일한 보상을 최대화하도록 학습된 강화 학습 에이전트는 발견한 단일 최적 객체에 수렴하는 경향이 있지만, GFlowNet은 객체의 성능에 비례해 여러 우수한 객체를 반환합니다. 보상이 실제 목표를 저렴하게 근사하는 경우 이러한 다양성이 중요합니다. 예를 들어 모델이 실험실 테스트용 약물 후보를 제안하는 경우가 그렇습니다. 대부분의 생성형 AI 모델과 달리 GFlowNet에는 학습 데이터가 필요 없고 보상 함수만 필요합니다. Mila의 Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup, Yoshua Bengio는 NeurIPS 2021에서 흐름 네트워크 기반 비반복적 다중 후보 생성 모델 논문으로 GFlowNet을 소개했습니다.

상태 네트워크를 통한 흐름#

생성은 전이 과정에 무작위성이 없는 마르코프 결정 과정(MDP)과 같은 순차적 의사 결정 과정입니다. 빈 상태에서 시작해 각 동작으로 원자, 분자 조각, 그래프 간선, 토큰 등의 구성 요소를 하나씩 추가하다가 정책이 종료를 선택할 때까지 진행합니다. 동작 순서가 달라도 같은 객체에 도달할 수 있으므로 상태는 트리가 아니라 방향성 비순환 그래프를 이룹니다:

이 이름은 확률을 시작 상태에서 그래프를 따라 흐르고 각 완성된 객체에서 보상과 같은 비율로 빠져나가는 물로 상상한 데서 유래했습니다. 모든 상태에서 유입량과 유출량이 같으면 각 간선을 흐름에 비례하는 확률로 선택하는 순방향 정책은 모든 객체를 보상을 총 흐름 Z, 즉 모든 보상의 합으로 나눈 확률로 생성합니다. 원 논문은 이 흐름 일관성 조건을 시간차 학습의 Bellman 방정식과 유사한 학습용 손실 함수로 변환했습니다.

궤적 균형을 사용한 학습#

Nikolay Malkin과 동료들이 2022년에 제안한 궤적 균형 목적 함수는 각 상태를 따로 검사하는 대신 전체 궤적을 한 번에 검사합니다. 학습된 총 흐름 Z에 궤적을 따라 순방향 정책 확률을 모두 곱한 값은 보상에 역방향 정책 확률의 곱을 곱한 값과 같아야 합니다. 역방향 정책은 완성된 객체를 분해하는 방법을 나타냅니다. 손실은 양쪽 값의 로그 간 차이의 제곱입니다. 왼쪽에서 오른쪽으로 만든 문자열처럼 모든 객체의 생성 경로가 정확히 하나라면 역방향 정책은 1이므로 제외할 수 있습니다. 다음은 PyTorch 예제입니다:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

문자열을 2,000개 샘플링한 뒤 정책 확률은 소수점 둘째 자리까지 보상 비율과 일치합니다. 보상 1인 각 문자열은 0.03이며, 보상 16으로 전체의 약 절반을 차지하는 111은 0.48입니다. 학습된 Z는 전체 보상의 합인 33과 같습니다. 실제 GFlowNet은 조회 테이블을 신경망으로 대체하며, 분자에는 흔히 그래프 신경망을 사용하고, 무작위 동작이나 높은 보상을 받은 객체의 리플레이로 탐색합니다. 정책은 샘플링한 객체만 학습하기 때문입니다. 동일한 작업에서 보상 최대화 모델은 확률 대부분을 111에 할당합니다. Ultralytics YOLO26의 하이퍼파라미터 튜닝은 보상 가중 샘플링을 직접 적용합니다. model.tune()은 적합도에 비례하는 확률로 상위 9개 결과 중 하나를 새 후보의 부모로 선택한 다음 변이시켜, 여러 우수한 설정 주변을 계속 탐색합니다.

응용 분야#

  • 신약 개발: 원 논문은 가용성 에폭사이드 가수분해효소(sEH) 단백질과의 결합을 예측하는 대리 모델로 점수를 매기며 분자 조각으로 분자를 만들었고, 강화 학습 및 마르코프 체인 몬테카를로 기준 모델보다 보상이 높은 고유 분자를 더 많이 발견했습니다. Moksh Jain과 동료들은 2022년에 항균 펩타이드 설계에 GFlowNet을 적용했습니다.
  • 인과 관계 발견: DAG-GFlowNet(Tristan Deleu와 동료들, 2022)은 베이지안 네트워크의 그래프 구조에 대한 사후 분포를 근사해 여러 가지 타당한 인과 설명을 고려합니다.
  • 언어 모델 추론: Edward Hu와 동료들은 2024년에 GFlowNet 목적 함수로 언어 모델을 미세 조정해 사후 확률에 비례하여 추론 체인과 텍스트 삽입 내용을 샘플링했습니다.
  • 보상 최대화 강화 학습: 같은 종류의 의사 결정 과정에 대한 정책을 학습하지만 기대 보상을 최대화하므로, 발견한 최적 객체에 확률이 집중됩니다.
  • 마르코프 체인 몬테카를로: 보상에 비례해 샘플링하지만 각 샘플을 얻으려면 긴 제안 체인이 필요합니다. 학습된 GFlowNet은 한 번의 순전파로 샘플 하나를 생성하며, 이것이 원 논문 제목에서 말하는 '비반복적'의 의미입니다.
  • 진화 알고리즘: 학습된 생성 정책 대신 직접 설계한 변이와 적합도 가중 선택으로 탐색합니다.
  • 정규화 플로: '플로'라는 단어를 공유하지만, 가역 계층을 통해 연속 분포를 변환합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요