Generative Flow Networks (GFlowNets)
Генеративные сети потоков (GFlowNets) создают объекты шаг за шагом и выбирают каждый пропорционально его вознаграждению, получая разнообразные высокооценённые варианты.
Генеративная сеть потоков (GFlowNet) — модель машинного обучения, которая учится создавать дискретные объекты, например молекулы, графы или последовательности, выполняя последовательность действий, и выбирать каждый готовый объект с вероятностью, пропорциональной заданной награде. Агент обучения с подкреплением, обученный максимизировать ту же награду, обычно останавливается на одном лучшем из найденных объектов, тогда как GFlowNet возвращает множество разных хороших объектов с вероятностями, пропорциональными их качеству. Такое разнообразие важно, когда награда — лишь недорогая оценка реальной цели, например когда модель предлагает кандидатов в лекарства для лабораторных испытаний. В отличие от большинства моделей генеративного ИИ, GFlowNet не нужны обучающие данные — достаточно функции награды. Эммануэль Бенжио, Мокш Джайн, Максим Кораблёв, Дуина Прекуп и Йошуа Бенжио из Mila представили GFlowNet на NeurIPS 2021 в работе «Генеративные модели на основе сетей потоков для неитеративной генерации разнообразных кандидатов».
Потоки по сети состояний#
Генерация — это процесс последовательного принятия решений, подобный марковскому процессу принятия решений (MDP), но без случайности переходов. Он начинается с пустого состояния, и каждое действие добавляет один строительный блок — например, атом, фрагмент молекулы, ребро графа или токен, — пока стратегия не решит остановиться. Разные порядки действий могут приводить к одному и тому же объекту, поэтому состояния образуют ориентированный ациклический граф, а не дерево:
Название связано с представлением вероятности в виде воды, текущей из начального состояния по графу и вытекающей из каждого готового объекта со скоростью, равной его награде. Если приток и отток в каждом состоянии равны, то политика прямого прохода, которая выбирает каждое ребро с вероятностью, пропорциональной его потоку, порождает каждый объект с вероятностью, равной его награде, делённой на общий поток Z — сумму всех наград. В исходной статье это условие согласованности потоков преобразовали в функцию потерь для обучения, аналогичную уравнению Беллмана из обучения с временными разностями.
Обучение с балансом траекторий#
Целевая функция баланса траекторий Николая Малкина и его коллег (2022) проверяет всю траекторию целиком, а не каждое состояние: произведение общего потока Z, усвоенного моделью, и вероятностей политики прямого прохода вдоль траектории должно равняться произведению награды и вероятностей политики обратного прохода, описывающих возможную разборку готового объекта. Функция потерь — квадрат разности логарифмов этих двух частей. Если для каждого объекта существует ровно один путь построения, как для строк, собираемых слева направо, вероятность обратной политики равна 1 и её можно исключить. Пример на PyTorch:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")После 2 000 сгенерированных строк вероятности политики совпадают с долями награды с точностью до двух знаков: от 0.03 для каждой строки с наградой 1 до 0.48 для 111, награда которой равна 16 — примерно половине общей суммы. Усвоенное значение Z равно сумме наград — 33. В реальных GFlowNet таблицу значений заменяет нейронная сеть, часто графовая нейронная сеть для молекул. Модели исследуют пространство с помощью случайных действий или повторного использования объектов с высокой наградой, поскольку политика учится только на объектах, которые она генерирует. Максимизатор награды для той же задачи присвоил бы почти всю вероятность 111. В настройке гиперпараметров Ultralytics YOLO26 вручную применяется выборка с учётом награды: model.tune() выбирает родительский элемент каждого нового кандидата среди 9 лучших результатов с вероятностью, пропорциональной его приспособленности, а затем мутирует его. Так поиск продолжает исследовать области вокруг нескольких удачных конфигураций.
Применение#
- Поиск лекарств: В исходной статье молекулы строились из фрагментов, а их оценка основывалась на приближённой модели связывания с белком растворимой эпоксидгидролазы (sEH). Такой подход обнаружил больше разных молекул с высокой наградой, чем базовые методы обучения с подкреплением и метода Монте-Карло с марковскими цепями. В 2022 году Мокш Джайн и его коллеги применили GFlowNet для разработки антимикробных пептидов.
- Поиск причинных связей: DAG-GFlowNet (Тристан Делеу и коллеги, 2022) приближённо вычисляет апостериорное распределение структур графов байесовских сетей, позволяя учитывать несколько правдоподобных объяснений причинных связей.
- Рассуждения языковых моделей: В 2024 году Эдвард Ху и его коллеги дообучили языковые модели с целевыми функциями GFlowNet, чтобы генерировать цепочки рассуждений и текстовые вставки с вероятностями, пропорциональными их апостериорной вероятности.
GFlowNet и связанные понятия#
- Обучение с подкреплением, максимизирующее награду: Обучает политику для такого же типа процесса принятия решений, но максимизирует ожидаемую награду, концентрируя вероятность на лучшем найденном объекте.
- Метод Монте-Карло с марковскими цепями: Также генерирует выборки с вероятностями, пропорциональными награде, но для каждой выборки требуется длинная цепочка предложений. Обученная GFlowNet создаёт выборку за один проход — в этом и состоит «неитеративность» исходного названия.
- Эволюционные алгоритмы: Выполняют поиск с помощью заданных вручную мутаций и отбора с учётом приспособленности, а не обученной политики построения объектов.
- Нормализующие потоки: В названии тоже есть слово «потоки», но они преобразуют непрерывные распределения с помощью обратимых слоёв.










