Лицензия YOLO
Назад к глоссарию Ultralytics

Generative Flow Networks (GFlowNets)

Генеративные сети потоков (GFlowNets) создают объекты шаг за шагом и выбирают каждый пропорционально его вознаграждению, получая разнообразные высокооценённые варианты.

Генеративная сеть потоков (GFlowNet) — модель машинного обучения, которая учится создавать дискретные объекты, например молекулы, графы или последовательности, выполняя последовательность действий, и выбирать каждый готовый объект с вероятностью, пропорциональной заданной награде. Агент обучения с подкреплением, обученный максимизировать ту же награду, обычно останавливается на одном лучшем из найденных объектов, тогда как GFlowNet возвращает множество разных хороших объектов с вероятностями, пропорциональными их качеству. Такое разнообразие важно, когда награда — лишь недорогая оценка реальной цели, например когда модель предлагает кандидатов в лекарства для лабораторных испытаний. В отличие от большинства моделей генеративного ИИ, GFlowNet не нужны обучающие данные — достаточно функции награды. Эммануэль Бенжио, Мокш Джайн, Максим Кораблёв, Дуина Прекуп и Йошуа Бенжио из Mila представили GFlowNet на NeurIPS 2021 в работе «Генеративные модели на основе сетей потоков для неитеративной генерации разнообразных кандидатов».

Потоки по сети состояний#

Генерация — это процесс последовательного принятия решений, подобный марковскому процессу принятия решений (MDP), но без случайности переходов. Он начинается с пустого состояния, и каждое действие добавляет один строительный блок — например, атом, фрагмент молекулы, ребро графа или токен, — пока стратегия не решит остановиться. Разные порядки действий могут приводить к одному и тому же объекту, поэтому состояния образуют ориентированный ациклический граф, а не дерево:

Название связано с представлением вероятности в виде воды, текущей из начального состояния по графу и вытекающей из каждого готового объекта со скоростью, равной его награде. Если приток и отток в каждом состоянии равны, то политика прямого прохода, которая выбирает каждое ребро с вероятностью, пропорциональной его потоку, порождает каждый объект с вероятностью, равной его награде, делённой на общий поток Z — сумму всех наград. В исходной статье это условие согласованности потоков преобразовали в функцию потерь для обучения, аналогичную уравнению Беллмана из обучения с временными разностями.

Обучение с балансом траекторий#

Целевая функция баланса траекторий Николая Малкина и его коллег (2022) проверяет всю траекторию целиком, а не каждое состояние: произведение общего потока Z, усвоенного моделью, и вероятностей политики прямого прохода вдоль траектории должно равняться произведению награды и вероятностей политики обратного прохода, описывающих возможную разборку готового объекта. Функция потерь — квадрат разности логарифмов этих двух частей. Если для каждого объекта существует ровно один путь построения, как для строк, собираемых слева направо, вероятность обратной политики равна 1 и её можно исключить. Пример на PyTorch:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

После 2 000 сгенерированных строк вероятности политики совпадают с долями награды с точностью до двух знаков: от 0.03 для каждой строки с наградой 1 до 0.48 для 111, награда которой равна 16 — примерно половине общей суммы. Усвоенное значение Z равно сумме наград — 33. В реальных GFlowNet таблицу значений заменяет нейронная сеть, часто графовая нейронная сеть для молекул. Модели исследуют пространство с помощью случайных действий или повторного использования объектов с высокой наградой, поскольку политика учится только на объектах, которые она генерирует. Максимизатор награды для той же задачи присвоил бы почти всю вероятность 111. В настройке гиперпараметров Ultralytics YOLO26 вручную применяется выборка с учётом награды: model.tune() выбирает родительский элемент каждого нового кандидата среди 9 лучших результатов с вероятностью, пропорциональной его приспособленности, а затем мутирует его. Так поиск продолжает исследовать области вокруг нескольких удачных конфигураций.

Применение#

  • Поиск лекарств: В исходной статье молекулы строились из фрагментов, а их оценка основывалась на приближённой модели связывания с белком растворимой эпоксидгидролазы (sEH). Такой подход обнаружил больше разных молекул с высокой наградой, чем базовые методы обучения с подкреплением и метода Монте-Карло с марковскими цепями. В 2022 году Мокш Джайн и его коллеги применили GFlowNet для разработки антимикробных пептидов.
  • Поиск причинных связей: DAG-GFlowNet (Тристан Делеу и коллеги, 2022) приближённо вычисляет апостериорное распределение структур графов байесовских сетей, позволяя учитывать несколько правдоподобных объяснений причинных связей.
  • Рассуждения языковых моделей: В 2024 году Эдвард Ху и его коллеги дообучили языковые модели с целевыми функциями GFlowNet, чтобы генерировать цепочки рассуждений и текстовые вставки с вероятностями, пропорциональными их апостериорной вероятности.
  • Обучение с подкреплением, максимизирующее награду: Обучает политику для такого же типа процесса принятия решений, но максимизирует ожидаемую награду, концентрируя вероятность на лучшем найденном объекте.
  • Метод Монте-Карло с марковскими цепями: Также генерирует выборки с вероятностями, пропорциональными награде, но для каждой выборки требуется длинная цепочка предложений. Обученная GFlowNet создаёт выборку за один проход — в этом и состоит «неитеративность» исходного названия.
  • Эволюционные алгоритмы: Выполняют поиск с помощью заданных вручную мутаций и отбора с учётом приспособленности, а не обученной политики построения объектов.
  • Нормализующие потоки: В названии тоже есть слово «потоки», но они преобразуют непрерывные распределения с помощью обратимых слоёв.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения