Mạng dòng tạo sinh (GFlowNets)

Mạng dòng tạo sinh (Generative Flow Networks, hay GFlowNets) là một khung máy học mạnh mẽ được thiết kế cho mô hình hóa xác suất và lấy mẫu trung bình . Chúng vượt trội trong việc tạo ra các đối tượng rời rạc, có cấu trúc bằng cách coi quá trình tạo ra đối tượng như một nhiệm vụ ra quyết định tuần tự. Thay vì chỉ đơn giản là tối đa hóa phần thưởng, như thường thấy trong học tăng cường truyền thống, GFlowNets học cách lấy mẫu các đối tượng với xác suất tỷ lệ thuận với một hàm phần thưởng được xác định trước. Điều này cho phép chúng khám phá ra nhiều tập hợp ứng viên có phần thưởng cao trong không gian mẫu cực lớn, giúp giảm thiểu hiệu quả hiện tượng sụp đổ mô hình thường gặp ở các kiến ​​trúc tạo sinh khác như Mạng đối kháng tạo sinh (GANs) .

Các nguyên tắc và cơ chế cốt lõi

GFlowNets hoạt động bằng cách di chuyển trong một môi trường có cấu trúc, thêm từng khối xây dựng một để tạo ra một vật thể hoàn chỉnh.

• Chính sách tiến và lùi : Mạng nơ-ron dự đoán chính sách tiến, xác định phân bố xác suất cho các hành động có thể xảy ra từ một trạng thái nhất định. Bằng cách lập bản đồ các quỹ đạo thông qua các trạng thái này, mô hình học được "dòng chảy" của xác suất.
• Hàm mất mát cân bằng quỹ đạo : Quá trình huấn luyện thường dựa vào các mục tiêu tối ưu hóa như hàm mất mát cân bằng quỹ đạo, đảm bảo rằng xác suất tạo ra một đối tượng cụ thể phù hợp chặt chẽ với phần thưởng quan sát được. Việc điều chỉnh siêu tham số đúng cách là rất cần thiết để ổn định hàm mất mát này trong quá trình huấn luyện.
• Lấy mẫu theo tỷ lệ : Bằng cách lấy mẫu theo tỷ lệ với phần thưởng thay vì chỉ tìm kiếm giá trị tối đa tuyệt đối, GFlowNets tự nhiên thúc đẩy sự đa dạng, điều này rất quan trọng khi điều hướng trong không gian tổ hợp phức tạp.

GFlowNets so với các hệ thống trí tuệ nhân tạo tạo sinh khác

Mặc dù Trí tuệ nhân tạo tạo sinh (Generative AI) bao gồm nhiều kỹ thuật, GFlowNets lại chiếm một vị trí độc đáo. Các mô hình khuếch tán tiêu chuẩn hoặc các kỹ thuật như khớp dòng chảy (Flow Matching) thường chuyển đổi các phân bố nhiễu liên tục thành dữ liệu. Ngược lại, GFlowNets được thiết kế đặc biệt để tạo ra các cấu trúc rời rạc, chẳng hạn như đồ thị hoặc chuỗi. Hơn nữa, trong khi các tác nhân học tăng cường tiêu chuẩn hướng đến việc tìm ra một đường dẫn tối ưu duy nhất thông qua Quy trình Quyết định Markov (MDP) , GFlowNets vạch ra nhiều đường dẫn có phần thưởng cao để đảm bảo sự đa dạng rộng rãi của các đầu ra được tạo ra.

Các Ứng dụng Thực tế

Khả năng tạo ra các ứng viên đa dạng và được tối ưu hóa cao khiến GFlowNets trở nên đặc biệt có giá trị trong các lĩnh vực khoa học và cấu trúc.

• Khám phá thuốc và thiết kế phân tử : Trong nghiên cứu dược phẩm , GFlowNets được sử dụng để tạo ra các peptide trị liệu mới và các đồ thị phân tử. Những tiến bộ gần đây, chẳng hạn như Atomic GFlowNets (A-GFN), xây dựng các phân tử từng nguyên tử một để tối ưu hóa các thuộc tính như ái lực liên kết và khả năng tổng hợp. Quá trình này tạo ra nhiều ứng viên thuốc đa dạng hơn so với các phương pháp dựa trên các mảnh được xác định trước.
• Học cấu trúc nhân quả : GFlowNets cũng được áp dụng để khám phá cấu trúc của mạng Bayes nhân quả. Chúng xấp xỉ phân bố hậu nghiệm trên đồ thị không chu trình có hướng (DAG) , giúp các nhà nghiên cứu duy trì cái nhìn thực tế về sự không chắc chắn về mặt nhận thức khi mô hình hóa các mối quan hệ dữ liệu phức tạp.

Thực hiện chính sách tiến về phía trước

Khi xây dựng GFlowNet, chính sách tiến lên phải dự đoán phân bố xác suất cho các bước tiếp theo có thể xảy ra. Đoạn mã PyTorch sau đây minh họa cách định nghĩa một lớp chính sách đơn giản và lấy mẫu một hành động. Trong khi việc xây dựng các mô hình thị giác như Ultralytics YOLO26 yêu cầu dự đoán tọa độ hộp giới hạn, GFlowNet sử dụng phân bố theo danh mục để chọn trạng thái tiếp theo trong đường dẫn tạo hình của nó.

import torch
import torch.nn as nn
from torch.distributions import Categorical

# A simple linear policy mapping a 64-dim state to 4 possible actions
policy_network = nn.Sequential(nn.Linear(64, 4), nn.Softmax(dim=-1))

# Given a random state vector, compute action probabilities and sample
state = torch.randn(1, 64)
action_probs = policy_network(state)
sampled_action = Categorical(action_probs).sample()
print(f"Sampled Action: {sampled_action.item()}")

Nếu bạn đang phát triển các giải pháp AI phức tạp bằng Python , bạn có thể dễ dàng chú thích tập dữ liệu, huấn luyện và triển khai mô hình bằng Nền tảng Ultralytics . Cho dù bạn đang tập trung vào các tác vụ phát hiện đối tượng tốc độ cao hay khám phá các kiến ​​trúc tạo sinh, việc có một quy trình vận hành học máy (MLOps) vững chắc là điều cần thiết để mở rộng quy mô mô hình của bạn một cách hiệu quả.