Generative Flow Networks (GFlowNets)
Üretken akış ağları (GFlowNets), nesneleri adım adım oluşturur ve her nesneyi ödülüyle orantılı olasılıkla örnekleyerek çeşitli, yüksek puanlı adaylar üretir.
Üretken akış ağı (GFlowNet), moleküller, grafikler veya diziler gibi ayrık nesneleri bir dizi eylemle oluşturmayı ve tamamlanmış her nesneyi verilen bir ödülle orantılı olasılıkla örneklemeyi öğrenen bir makine öğrenimi modelidir. Aynı ödülü en üst düzeye çıkarmak üzere eğitilmiş bir pekiştirmeli öğrenme ajanı, bulduğu tek en iyi nesneye yönelme eğilimindeyken GFlowNet, ne kadar iyi olduklarıyla orantılı biçimde birçok farklı iyi nesne döndürür. Ödül, laboratuvarda test edilecek ilaç adayları öneren bir modelde olduğu gibi, gerçek hedefin yalnızca ucuz bir göstergesi olduğunda bu çeşitlilik önemlidir. Çoğu üretken yapay zekâ modelinin aksine, GFlowNet eğitim verisine ihtiyaç duymaz; yalnızca ödül fonksiyonu yeterlidir. Mila'dan Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup ve Yoshua Bengio, GFlowNet'leri NeurIPS 2021'de Yinelemesiz ve Çeşitli Aday Üretimi için Akış Ağı Tabanlı Üretken Modeller başlıklı çalışmayla tanıttı.
Durumlar Ağından Geçen Akışlar#
Üretim, geçişlerinde rastgelelik olmayan bir Markov karar süreci (MDP) gibi ardışık bir karar sürecidir. Boş bir durumdan başlar ve politika durmayı seçene kadar her eylem bir atom, moleküler parça, grafik kenarı veya belirteç gibi bir yapı taşı ekler. Farklı eylem sıraları aynı nesneye ulaşabildiğinden, durumlar bir ağaç yerine yönlü çevrimsiz bir grafik oluşturur:
Adı, olasılığın bu grafikte başlangıç durumundan akıp her tamamlanmış nesneden ödülüne eşit hızda boşalan su gibi düşünülmesinden gelir. Her durumda giriş akışı çıkış akışına eşitse, her kenarı akışıyla orantılı olasılıkla izleyen ileri politika, her nesneyi ödülünün toplam akış Z'ye, yani tüm ödüllerin toplamına, oranı kadar olasılıkla üretir. Özgün makale, bu akış tutarlılığı koşulunu zamansal fark öğrenmesinin Bellman denklemine benzer bir eğitim kayıp fonksiyonuna dönüştürdü.
Yörünge Dengesiyle Eğitim#
Nikolay Malkin ve çalışma arkadaşlarının 2022 tarihli yörünge dengesi hedefi, her durumu ayrı ayrı denetlemek yerine tüm yörüngeyi bir kerede denetler: öğrenilen toplam akış Z ile yörünge boyunca ileri politika olasılıklarının çarpımı, tamamlanmış nesnenin nasıl parçalarına ayrılabileceğini açıklayan geri politika olasılıklarının çarpımı ile ödülün çarpımına eşit olmalıdır. Kayıp, iki tarafın logaritmaları arasındaki farkın karesidir. Soldan sağa oluşturulan dizeler gibi her nesnenin tam olarak bir oluşturma yolu olduğunda, geri politika 1 olur ve hesaptan çıkar; PyTorch örneğinde de bu durum görülür:
import torch
torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16]) # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True) # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True) # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)
for step in range(2000):
node, log_pf = 0, 0.0
for depth in range(3): # build the string one bit at a time, walking down a binary tree
policy = torch.distributions.Categorical(logits=logits[node])
bit = policy.sample()
log_pf = log_pf + policy.log_prob(bit)
node = 2 * node + 1 + bit.item()
# Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
loss = (log_z + log_pf - reward[node - 7].log()) ** 2
optimizer.zero_grad()
loss.backward()
optimizer.step()
# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x): ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")2.000 dize örneklendikten sonra politikanın olasılıkları, ödül paylarıyla iki ondalık basamağa kadar eşleşir: ödülü 1 olan her dize için 0.03, toplamın yaklaşık yarısını oluşturan 16 ödüllü 111 içinse 0.48. Öğrenilen Z, ödüllerin toplamı olan 33'e eşittir. Gerçek GFlowNet'ler arama tablosunu bir sinir ağıyla, çoğu zaman moleküller için bir graf sinir ağıyla değiştirir ve politika yalnızca örneklediği nesneler hakkında öğrendiği için rastgele eylemlerle veya yüksek ödüllü nesneleri yeniden oynatarak keşif yapar. Aynı görevde ödülü en üst düzeye çıkaran bir model, olasılığının neredeyse tamamını 111 üzerine yığardı. Ultralytics YOLO26 için hiperparametre ayarlama, ödül ağırlıklı örneklemeyi elle uygular: model.tune(), her yeni adayın ebeveynini uygunlukla orantılı olasılıkla en iyi 9 sonuç arasından seçip mutasyona uğratır; böylece arama birkaç iyi yapılandırmanın çevresini keşfetmeye devam eder.
Uygulamalar#
- İlaç keşfi: Özgün makale, çözünebilir epoksit hidrolaz (sEH) proteinine bağlanmayı tahmin eden bir vekil modelle puanlanan parçalardan moleküller oluşturdu ve pekiştirmeli öğrenme ile Markov zinciri Monte Carlo temel yöntemlerinden daha fazla sayıda, birbirinden farklı ve yüksek ödüllü molekül buldu. Moksh Jain ve çalışma arkadaşları, 2022'de GFlowNet'leri antimikrobiyal peptit tasarımına uyguladı.
- Nedensellik keşfi: DAG-GFlowNet (Tristan Deleu ve çalışma arkadaşları, 2022), Bayes ağlarının grafik yapıları üzerindeki sonsal dağılımı yaklaşıklar ve böylece olası birkaç nedensel açıklamanın aynı anda değerlendirilmesini sağlar.
- Dil modeli akıl yürütmesi: Edward Hu ve çalışma arkadaşları, 2024'te akıl yürütme zincirlerini ve metin içi boşluk doldurmaları sonsal olasılıklarıyla orantılı biçimde örneklemek için dil modellerine GFlowNet hedefleriyle ince ayar yaptı.
GFlowNet'ler ve İlgili Terimler#
- Ödülü en üst düzeye çıkaran pekiştirmeli öğrenme: Aynı tür karar süreci üzerinde bir politika öğrenir, ancak beklenen ödülü en üst düzeye çıkarır; bu da olasılığı bulunan en iyi nesne üzerinde yoğunlaştırır.
- Markov zinciri Monte Carlo: Ödülle orantılı örnekleme yapar, ancak her örnek uzun bir öneri zinciri gerektirir. Eğitimli bir GFlowNet ise tek geçişte örnek üretir; özgün başlıktaki "yinelemesiz" ifadesi de bunu anlatır.
- Evrimsel algoritmalar: Öğrenilmiş bir oluşturma politikası yerine elle tasarlanmış mutasyon ve uygunluk ağırlıklı seçimle arama yapar.
- Normalleştirme akışları: "Akış" sözcüğünü paylaşır, ancak tersinir katmanlarla sürekli dağılımları dönüştürür.










