Licencia YOLO
Volver al glosario de Ultralytics

Generative Flow Networks (GFlowNets)

Las redes generativas de flujo (GFlowNets) construyen objetos paso a paso y muestrean cada uno en proporción a su recompensa, lo que genera candidatos diversos y con puntuaciones altas.

Una red generativa de flujo (GFlowNet) es un modelo de aprendizaje automático que aprende a construir objetos discretos, como moléculas, grafos o secuencias, mediante una serie de acciones, y a muestrear cada objeto terminado con una probabilidad proporcional a una recompensa determinada. Un agente de aprendizaje por refuerzo entrenado para maximizar la misma recompensa tiende a quedarse con el único mejor objeto que ha encontrado, mientras que una GFlowNet devuelve muchos objetos buenos distintos en proporción a lo buenos que sean. Esta diversidad importa cuando una recompensa es solo una aproximación económica al objetivo real, como cuando un modelo propone candidatos a fármacos para probar en el laboratorio. A diferencia de la mayoría de los modelos de IA generativa, una GFlowNet no necesita datos de entrenamiento, solo la función de recompensa. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup y Yoshua Bengio, de Mila, presentaron las GFlowNet en NeurIPS 2021 con el artículo Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation.

Flujos a través de una red de estados#

La generación es un proceso secuencial de toma de decisiones, como un proceso de decisión de Markov (MDP) sin aleatoriedad en las transiciones. Empieza en un estado vacío y cada acción añade un elemento, como un átomo, un fragmento molecular, una arista de grafo o un token, hasta que la política decide detenerse. Distintos órdenes de acciones pueden llegar al mismo objeto, por lo que los estados forman un grafo acíclico dirigido en lugar de un árbol:

El nombre procede de imaginar la probabilidad como agua que fluye desde el estado inicial a través de este grafo y sale de cada objeto terminado a un ritmo igual a su recompensa. Si la entrada de flujo es igual a la salida en cada estado, una política hacia delante que siga cada arista con una probabilidad proporcional a su flujo produce cada objeto con una probabilidad igual a su recompensa dividida por el flujo total Z, es decir, la suma de todas las recompensas. El artículo original convirtió esta condición de coherencia del flujo en una función de pérdida de entrenamiento, análoga a la ecuación de Bellman del aprendizaje por diferencias temporales.

Entrenamiento con equilibrio de trayectorias#

El objetivo de equilibrio de trayectorias de Nikolay Malkin y sus colaboradores (2022) comprueba una trayectoria completa de una vez, en lugar de cada estado: el flujo total Z aprendido multiplicado por el producto de las probabilidades de la política hacia delante a lo largo de la trayectoria debe ser igual a la recompensa multiplicada por el producto de las probabilidades de la política hacia atrás, que describen cómo se podría desmontar el objeto terminado. La pérdida es la diferencia al cuadrado entre los logaritmos de ambos lados. Cuando cada objeto tiene una única ruta de construcción, como ocurre con cadenas de caracteres creadas de izquierda a derecha, la política hacia atrás es 1 y desaparece, como en este ejemplo de PyTorch:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

Tras muestrear 2.000 cadenas, las probabilidades de la política coinciden con las proporciones de recompensa con dos decimales: van de 0.03 para cada cadena con recompensa 1 a 0.48 para 111, cuya recompensa de 16 representa aproximadamente la mitad del total; el valor Z aprendido equivale a la suma de las recompensas, 33. Las GFlowNet reales sustituyen la tabla de consulta por una red neuronal, a menudo una red neuronal de grafos para moléculas, y exploran con acciones aleatorias u objetos de gran recompensa reproducidos, porque la política solo aprende sobre los objetos que muestrea. Un maximizador de recompensas para la misma tarea asignaría casi toda su probabilidad a 111. El ajuste de hiperparámetros de Ultralytics YOLO26 aplica manualmente un muestreo ponderado por recompensa: model.tune() elige al padre de cada nuevo candidato entre sus 9 mejores resultados, con una probabilidad ponderada por su aptitud, y luego lo modifica mediante mutaciones; así, la búsqueda sigue explorando en torno a varias configuraciones buenas.

Aplicaciones#

  • Descubrimiento de fármacos: El artículo original construyó moléculas a partir de fragmentos puntuados por un modelo de aproximación de su unión a la proteína hidrolasa soluble de epóxido (sEH), y encontró más moléculas distintas con recompensas altas que las líneas base de aprendizaje por refuerzo y Monte Carlo con cadenas de Markov. En 2022, Moksh Jain y sus colaboradores aplicaron las GFlowNet al diseño de péptidos antimicrobianos.
  • Descubrimiento causal: DAG-GFlowNet (Tristan Deleu y sus colaboradores, 2022) aproxima la distribución posterior de las estructuras de grafo de las redes bayesianas, lo que permite tener en cuenta varias explicaciones causales plausibles.
  • Razonamiento de modelos de lenguaje: En 2024, Edward Hu y sus colaboradores ajustaron modelos de lenguaje con objetivos GFlowNet para muestrear cadenas de razonamiento y completar textos en proporción a su probabilidad posterior.
  • Aprendizaje por refuerzo que maximiza la recompensa: Aprende una política para el mismo tipo de proceso de toma de decisiones, pero maximiza la recompensa esperada, lo que concentra la probabilidad en el mejor objeto encontrado.
  • Monte Carlo con cadenas de Markov: También realiza muestreos proporcionales a una recompensa, pero cada muestra necesita una larga cadena de propuestas; una GFlowNet entrenada produce una en una sola pasada, que es lo que significa «no iterativa» en el título original.
  • Algoritmos evolutivos: Buscan mediante mutaciones diseñadas manualmente y selección ponderada por aptitud, en lugar de una política de construcción aprendida.
  • Flujos normalizadores: Comparten la palabra «flujo», pero transforman distribuciones continuas mediante capas invertibles.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático