Generative Flow Networks (GFlowNets)
Generative Flow Networks (GFlowNets) erstellen Objekte Schritt für Schritt und ziehen Stichproben proportional zu ihrer Belohnung. So entstehen vielfältige Kandidaten mit hohen Bewertungen.
Ein generatives Flussnetzwerk (GFlowNet) ist ein Modell des maschinellen Lernens, das lernt, durch eine Abfolge von Aktionen diskrete Objekte wie Moleküle, Graphen oder Sequenzen zu erstellen und jedes fertige Objekt mit einer Wahrscheinlichkeit proportional zu einer vorgegebenen Belohnung zu ziehen. Ein auf dieselbe Belohnung trainierter Agent für bestärkendes Lernen neigt dazu, sich auf das einzelne beste gefundene Objekt festzulegen. Ein GFlowNet gibt dagegen viele verschiedene gute Objekte zurück, und zwar entsprechend ihrer Güte. Diese Vielfalt ist wichtig, wenn eine Belohnung nur ein kostengünstiger Ersatz für das eigentliche Ziel ist, etwa wenn ein Modell Wirkstoffkandidaten für Labortests vorschlägt. Anders als die meisten Modelle der generativen KI benötigt ein GFlowNet keine Trainingsdaten, sondern nur eine Belohnungsfunktion. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup und Yoshua Bengio von Mila stellten GFlowNets bei NeurIPS 2021 in Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation vor.
Flüsse durch ein Netzwerk von Zuständen#
Die Generierung ist ein sequenzieller Entscheidungsprozess, ähnlich einem Markow-Entscheidungsprozess (MDP), jedoch ohne Zufall bei den Übergängen. Der Prozess beginnt in einem leeren Zustand. Jede Aktion fügt einen Baustein hinzu, etwa ein Atom, ein Molekülfragment, eine Graphenkante oder ein Token, bis die Richtlinie das Beenden auswählt. Verschiedene Aktionsfolgen können dasselbe Objekt ergeben. Daher bilden die Zustände statt eines Baums einen gerichteten azyklischen Graphen:
Der Name geht auf die Vorstellung zurück, dass Wahrscheinlichkeit wie Wasser vom Anfangszustand durch diesen Graphen fließt und aus jedem fertigen Objekt mit einer Rate abfließt, die seiner Belohnung entspricht. Ist der Zufluss an jedem Zustand gleich dem Abfluss, erzeugt eine Vorwärtsrichtlinie, die jeder Kante mit einer Wahrscheinlichkeit proportional zu ihrem Fluss folgt, jedes Objekt mit einer Wahrscheinlichkeit, die seiner Belohnung geteilt durch den Gesamtfluss Z entspricht. Z ist die Summe aller Belohnungen. Die ursprüngliche Arbeit machte aus dieser Flusskonsistenzbedingung eine Verlustfunktion, ähnlich der Bellman-Gleichung beim Lernen mit zeitlichen Differenzen.
Training mit Trajectory Balance#
Das 2022 von Nikolay Malkin und Kollegen entwickelte Trajectory-Balance-Ziel überprüft eine ganze Trajektorie auf einmal statt jeden einzelnen Zustand: Der gelernte Gesamtfluss Z multipliziert mit dem Produkt der Wahrscheinlichkeiten der Vorwärtsrichtlinie entlang der Trajektorie muss gleich der Belohnung multipliziert mit dem Produkt der Wahrscheinlichkeiten der Rückwärtsrichtlinie sein. Diese beschreibt, wie sich das fertige Objekt wieder zerlegen ließe. Der Verlust ist die quadrierte Differenz der Logarithmen beider Seiten. Hat jedes Objekt genau einen Konstruktionspfad, wie bei Zeichenfolgen, die von links nach rechts erstellt werden, beträgt der Wert der Rückwärtsrichtlinie 1 und fällt weg, wie in diesem PyTorch-Beispiel:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")Nach 2,000 gezogenen Zeichenfolgen entsprechen die Wahrscheinlichkeiten der Richtlinie bis auf zwei Dezimalstellen den Anteilen der Belohnungen: von 0.03 für jede Zeichenfolge mit Belohnung 1 bis 0.48 für 111, deren Belohnung von 16 ungefähr der Hälfte der Gesamtbelohnung entspricht. Das gelernte Z entspricht der Summe der Belohnungen, also 33. Bei echten GFlowNets ersetzt ein neuronales Netz die Nachschlagetabelle. Für Moleküle wird häufig ein Graph-Neuronales Netz verwendet. Da die Richtlinie nur Objekte kennenlernt, die sie selbst zieht, wird der Suchraum mit zufälligen Aktionen oder erneut verwendeten Objekten mit hoher Belohnung erkundet. Ein Belohnungsmaximierer würde bei derselben Aufgabe fast seine gesamte Wahrscheinlichkeit auf 111 konzentrieren. Die Hyperparameteroptimierung für Ultralytics YOLO26 setzt eine gewichtete Auswahl nach Belohnung manuell um: model.tune() wählt den Vorgänger jedes neuen Kandidaten mit einer nach Güte gewichteten Wahrscheinlichkeit aus den 9 besten Ergebnissen aus und verändert ihn anschließend. So wird der Suchraum weiterhin rund um mehrere gute Konfigurationen erkundet.
Anwendungen#
- Wirkstoffforschung: Die ursprüngliche Arbeit erzeugte Moleküle aus Fragmenten, die anhand eines Ersatzmodells für die Bindung an das Protein lösliche Epoxidhydrolase (sEH) bewertet wurden. Dabei fand sie mehr verschiedene Moleküle mit hoher Belohnung als die Referenzverfahren des bestärkenden Lernens und der Markow-Ketten-Monte-Carlo-Methode. Moksh Jain und Kollegen setzten GFlowNets 2022 für den Entwurf antimikrobieller Peptide ein.
- Kausale Entdeckung: DAG-GFlowNet von Tristan Deleu und Kollegen (2022) approximiert die Posteriorverteilung über die Graphstrukturen Bayes'scher Netze und hält dadurch mehrere plausible kausale Erklärungen im Blick.
- Sprachmodell-Schlussfolgern: Edward Hu und Kollegen stimmten Sprachmodelle 2024 mit GFlowNet-Zielfunktionen fein ab, um Schlussfolgerungsketten und Textvervollständigungen entsprechend ihrer Posteriorwahrscheinlichkeit zu ziehen.
GFlowNets und verwandte Begriffe#
- Bestärkendes Lernen mit Belohnungsmaximierung: Lernt eine Richtlinie für dieselbe Art von Entscheidungsprozess, maximiert jedoch die erwartete Belohnung. Dadurch konzentriert sich die Wahrscheinlichkeit auf das beste gefundene Objekt.
- Markow-Ketten-Monte-Carlo: Zieht ebenfalls Stichproben proportional zu einer Belohnung, doch für jede Stichprobe ist eine lange Kette von Vorschlägen nötig. Ein trainiertes GFlowNet erzeugt eine Stichprobe in einem einzigen Durchlauf. Darauf bezieht sich „nicht iterativ“ im ursprünglichen Titel.
- Evolutionsalgorithmen: Durchsuchen den Raum mithilfe von manuell festgelegten Mutationen und einer Auswahl, die nach Güte gewichtet ist, statt mit einer gelernten Konstruktionsrichtlinie.
- Normalisierende Flüsse: Verwenden ebenfalls den Begriff „Fluss“, transformieren aber kontinuierliche Verteilungen mithilfe umkehrbarer Schichten.










