Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Generative Flow Networks (GFlowNets)

Mạng luồng tạo sinh (GFlowNets) xây dựng đối tượng theo từng bước và lấy mẫu từng đối tượng theo tỷ lệ với phần thưởng của nó, tạo ra các ứng viên đa dạng có điểm số cao.

Mạng luồng tạo sinh (GFlowNet) là một model máy học học cách xây dựng các đối tượng rời rạc, chẳng hạn phân tử, đồ thị hoặc chuỗi, thông qua một loạt hành động, đồng thời lấy mẫu mỗi đối tượng hoàn chỉnh với xác suất tỷ lệ thuận với phần thưởng cho trước. Một tác tử học tăng cường được huấn luyện để tối đa hóa cùng phần thưởng thường tập trung vào đối tượng tốt nhất mà nó tìm được, trong khi GFlowNet trả về nhiều đối tượng tốt khác nhau theo tỷ lệ mức độ tốt của chúng. Sự đa dạng đó rất quan trọng khi phần thưởng chỉ là chỉ dấu rẻ tiền thay cho mục tiêu thực, chẳng hạn khi model đề xuất ứng viên thuốc để thử nghiệm trong phòng thí nghiệm. Không giống phần lớn model AI tạo sinh, GFlowNet không cần dữ liệu huấn luyện, chỉ cần hàm phần thưởng. Emmanuel Bengio, Moksh Jain, Maksym Korablyov, Doina Precup và Yoshua Bengio thuộc Mila giới thiệu GFlowNet tại NeurIPS 2021 trong bài báo Model tạo sinh dựa trên mạng luồng để tạo ứng viên đa dạng không lặp.

Luồng qua mạng trạng thái#

Quá trình tạo sinh là một quy trình ra quyết định tuần tự, tương tự quy trình quyết định Markov (MDP) nhưng không có tính ngẫu nhiên trong các lần chuyển trạng thái. Quá trình bắt đầu từ trạng thái rỗng, rồi mỗi hành động thêm một thành phần, chẳng hạn nguyên tử, mảnh phân tử, cạnh đồ thị hoặc token, cho đến khi policy chọn dừng. Các thứ tự hành động khác nhau có thể dẫn đến cùng một đối tượng, vì vậy các trạng thái tạo thành đồ thị có hướng không chu trình thay vì cây:

Tên gọi xuất phát từ hình dung xác suất như nước chảy từ trạng thái bắt đầu qua đồ thị này và thoát ra khỏi mỗi đối tượng hoàn chỉnh với tốc độ bằng phần thưởng của đối tượng đó. Nếu luồng vào bằng luồng ra tại mọi trạng thái, policy tiến với xác suất đi theo từng cạnh tỷ lệ thuận với luồng của cạnh đó sẽ tạo ra mỗi đối tượng với xác suất bằng phần thưởng của nó chia cho tổng luồng Z, tức tổng tất cả phần thưởng. Bài báo gốc chuyển điều kiện nhất quán luồng này thành hàm loss huấn luyện, tương tự phương trình Bellman trong học sai phân thời gian.

Huấn luyện bằng cân bằng quỹ đạo#

Mục tiêu cân bằng quỹ đạo năm 2022 của Nikolay Malkin và cộng sự kiểm tra toàn bộ quỹ đạo cùng lúc thay vì từng trạng thái: tổng luồng Z đã học nhân với tích xác suất policy tiến dọc theo quỹ đạo phải bằng phần thưởng nhân với tích xác suất policy lùi, mô tả cách có thể tháo rời đối tượng hoàn chỉnh. Loss là bình phương hiệu giữa logarithm của hai vế. Khi mỗi đối tượng chỉ có đúng một đường xây dựng, như chuỗi được tạo từ trái sang phải, policy lùi bằng 1 và được lược bỏ, như trong ví dụ PyTorch này:

import torch

torch.manual_seed(0)
reward = torch.tensor([1.0, 1, 1, 8, 1, 4, 1, 16])  # reward of each 3-bit string 000 ... 111
logits = torch.zeros(7, 2, requires_grad=True)  # forward policy: P(next bit) at each of the 7 prefixes
log_z = torch.zeros(1, requires_grad=True)  # learned log of the total flow Z
optimizer = torch.optim.Adam([logits, log_z], lr=0.05)

for step in range(2000):
    node, log_pf = 0, 0.0
    for depth in range(3):  # build the string one bit at a time, walking down a binary tree
        policy = torch.distributions.Categorical(logits=logits[node])
        bit = policy.sample()
        log_pf = log_pf + policy.log_prob(bit)
        node = 2 * node + 1 + bit.item()
    # Trajectory balance loss; each string has one path in a tree, so the backward policy is 1
    loss = (log_z + log_pf - reward[node - 7].log()) ** 2
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Probability of sampling each string = product of the policy's choices along its path
probs = logits.softmax(dim=1).detach()
sampled = [probs[0, x >> 2] * probs[1 + (x >> 2), (x >> 1) & 1] * probs[3 + (x >> 1), x & 1] for x in range(8)]
print("P(x):    ", [round(p.item(), 2) for p in sampled])
print("R(x)/sum:", [round(r, 2) for r in (reward / reward.sum()).tolist()])
print(f"Learned Z = {log_z.exp().item():.1f}, sum of rewards = {reward.sum():.0f}")

Sau khi lấy mẫu 2,000 chuỗi, xác suất của policy khớp với tỷ trọng phần thưởng đến hai chữ số thập phân, từ 0.03 cho mỗi chuỗi có phần thưởng 1 đến 0.48 cho 111, có phần thưởng 16, chiếm khoảng một nửa tổng phần thưởng; Z đã học bằng tổng phần thưởng là 33. GFlowNet thực tế thay bảng tra cứu bằng neural network, thường là graph neural network cho phân tử, và khám phá bằng hành động ngẫu nhiên hoặc phát lại các đối tượng có phần thưởng cao, vì policy chỉ học về những đối tượng nó lấy mẫu. Bộ tối đa hóa phần thưởng trên cùng tác vụ sẽ dồn gần như toàn bộ xác suất vào 111. Tinh chỉnh siêu tham số trong Ultralytics YOLO26 áp dụng thủ công cách lấy mẫu có trọng số theo phần thưởng: model.tune() chọn cha của mỗi ứng viên mới từ 9 kết quả tốt nhất với xác suất tỷ lệ thuận với fitness, rồi đột biến ứng viên đó để quá trình tìm kiếm tiếp tục khám phá quanh nhiều cấu hình tốt.

Ứng dụng#

  • Khám phá thuốc: Bài báo gốc xây dựng phân tử từ các mảnh, chấm điểm bằng model chỉ dấu dự đoán khả năng liên kết với protein epoxide hydrolase hòa tan (sEH), và tìm được nhiều phân tử riêng biệt có phần thưởng cao hơn các phương pháp cơ sở học tăng cường và Monte Carlo chuỗi Markov. Moksh Jain và cộng sự áp dụng GFlowNet vào thiết kế peptide kháng khuẩn năm 2022.
  • Khám phá quan hệ nhân quả: DAG-GFlowNet của Tristan Deleu và cộng sự (2022) ước lượng phân phối hậu nghiệm trên các cấu trúc đồ thị của mạng Bayesian, giúp xem xét đồng thời nhiều cách giải thích nhân quả hợp lý.
  • Suy luận của model ngôn ngữ: Năm 2024, Edward Hu và cộng sự fine-tune model ngôn ngữ bằng các mục tiêu GFlowNet để lấy mẫu chuỗi suy luận và phần điền tiếp văn bản theo xác suất hậu nghiệm của chúng.
  • Học tăng cường tối đa hóa phần thưởng: Học policy trên cùng dạng quy trình ra quyết định nhưng tối đa hóa phần thưởng kỳ vọng, khiến xác suất tập trung vào đối tượng tốt nhất được tìm thấy.
  • Monte Carlo chuỗi Markov: Cũng lấy mẫu theo tỷ lệ phần thưởng, nhưng mỗi mẫu cần một chuỗi đề xuất dài; GFlowNet đã huấn luyện tạo ra một mẫu chỉ trong một lượt, đây chính là ý nghĩa của cụm "không lặp" trong tiêu đề gốc.
  • Thuật toán tiến hóa: Tìm kiếm bằng các phép đột biến được thiết kế thủ công và lựa chọn có trọng số theo fitness, thay vì policy xây dựng được học.
  • Normalizing flow: Cùng dùng từ "flow" nhưng chuyển đổi các phân phối liên tục qua các lớp khả nghịch.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning