Diffusion Forcing

Diffusion forcing là phương pháp huấn luyện bộ tạo chuỗi, trong đó mỗi token của chuỗi — chẳng hạn một khung hình video hoặc một hành động của robot — nhận mức nhiễu được lấy mẫu độc lập; model nhân quả học cách khử nhiễu cho từng token dựa trên lịch sử chứa một phần nhiễu. Một model được huấn luyện theo cách này có thể tạo chuỗi từng bước như model ngôn ngữ lớn (LLM) dự đoán token tiếp theo, đồng thời điều hướng toàn bộ tương lai theo mục tiêu như model diffusion trên toàn chuỗi. Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake và Vincent Sitzmann tại MIT giới thiệu phương pháp này vào tháng 7 năm 2024 trong bài Diffusion Forcing: Dự đoán token tiếp theo gặp diffusion toàn chuỗi, được trình bày tại NeurIPS 2024.

Nhiễu dưới dạng che khuất một phần#

Teacher forcing huấn luyện model tự hồi quy dự đoán token tiếp theo từ lịch sử sạch, đúng với dữ liệu thực, nên khi tạo dữ liệu, model lần đầu phải xử lý các đầu ra chưa hoàn hảo của chính nó; các lượt tạo video dài sẽ chệch dần khi lỗi tích lũy. Diffusion trên toàn chuỗi khử nhiễu đồng thời mọi khung hình ở cùng một mức nhiễu, hỗ trợ guidance nhưng cố định độ dài chuỗi và không thể phản ứng với các quan sát mới xuất hiện giữa chừng.

Diffusion forcing xem nhiễu như một dạng che khuất một phần: token sạch hiển thị hoàn toàn, nhiễu thuần túy che khuất hoàn toàn, còn các mức trung gian che khuất một phần. Huấn luyện với mức nhiễu độc lập cho từng token giúp một model học đồng thời mọi kết hợp, bao gồm lịch sử sạch với khung hình tiếp theo nhiễu hoàn toàn — tức dự đoán token tiếp theo — và mức nhiễu bằng nhau trên mọi khung hình — tức diffusion toàn chuỗi. Bài báo chứng minh mục tiêu này tối ưu hóa cận dưới biến phân của likelihood trên mọi chuỗi con. Bản triển khai tham chiếu, Causal Diffusion Forcing, sử dụng mạng nơ-ron hồi tiếp có trạng thái ẩn tóm tắt lịch sử nhiễu; sau đó, các tác giả phát hành phiên bản Transformer.

Lịch lấy mẫu#

Vì mọi tổ hợp mức nhiễu đều nằm trong phân phối, quá trình tạo có thể tuân theo lịch hai chiều trên các lượt khử nhiễu và khung hình. Lịch zíc zắc trong bài báo bắt đầu khử nhiễu từng khung hình muộn hơn một chút so với khung hình đứng trước:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

Dòng huấn luyện vẽ các mức như [4, 4, 3, 0, 3] cho một đoạn clip — một tổ hợp mà cả teacher forcing lẫn diffusion toàn chuỗi đều không huấn luyện. Trong lịch này, hàng 0 là nhiễu thuần túy; đến lượt 4, khung hình đầu tiên đã sạch trong khi khung hình thứ năm vẫn nhiễu hoàn toàn; đoạn clip hoàn tất sau 8 lượt. Bài báo dùng dạng lịch này để lập kế hoạch vì xem tương lai gần là chắc chắn hơn tương lai xa.

Các lượt tạo dài sử dụng thêm một thủ thuật. Điều kiện hóa mỗi khung hình mới theo các bản sao hơi nhiễu của những khung hình đã tạo, thay vì các bản sao sạch, giúp model chịu được những lỗi nhỏ của chính nó. Trên tập dữ liệu điều hướng DMLab, model được huấn luyện bằng các đoạn clip 36 khung hình có thể tạo liên tục 2.000 khung hình mà không chệch hướng, trong khi các baseline bị chệch hướng.

Guidance, lập kế hoạch và robot#

Guidance trên toàn chuỗi vẫn được áp dụng: phần thưởng hoặc mục tiêu có thể điều hướng các khung hình tương lai nhiễu trong quá trình lấy mẫu. Phương pháp Monte Carlo Guidance trong bài báo tạo ra một số tương lai khả dĩ rồi lấy trung bình gradient guidance của chúng, cải thiện kết quả trên các tác vụ lập kế hoạch mê cung được dùng trong nghiên cứu học tăng cường. Với robot, các tác giả dùng học bắt chước để huấn luyện cánh tay robot thật đổi chỗ hai loại quả bằng một ô thứ ba — tác vụ cần ghi nhớ vì các loại quả bắt đầu ở những ô ngẫu nhiên. Diffusion forcing thành công trong 80% trường hợp, trong khi Diffusion Policy không có bộ nhớ thất bại; ngay cả khi có yếu tố gây xao nhãng thị giác hoặc camera bị che hoàn toàn, phương pháp vẫn đạt 76%, so với 48% của baseline diffusion khung hình tiếp theo xem các khung hình bị hỏng là dữ liệu thực. Model tương tự cũng xử lý được dự báo chuỗi thời gian.

Diffusion forcing trong model video#

Diffusion Forcing Transformer (DFoT) của nhóm MIT, được giới thiệu trong công trình History-Guided Video Diffusion vào tháng 2 năm 2025, điều kiện hóa theo số lượng khung hình quá khứ bất kỳ và dùng lịch sử đó làm tín hiệu guidance. SkyReels-V2 của Skywork AI, phát hành vào tháng 4 năm 2025, fine-tune một model video tiền huấn luyện trên toàn chuỗi thành model diffusion forcing có mức nhiễu không bao giờ giảm từ khung hình này sang khung hình tiếp theo, nhờ vậy video có thể được mở rộng từng đoạn. Model thế giới video — dự đoán diễn biến của cảnh theo các hành động của agent AI — cần kiểu tạo tuần tự nhân quả ổn định tương tự. Có thể đo mức độ nhất quán của đối tượng trong một lượt tạo dài bằng theo dõi đối tượng: Ultralytics YOLO26 ở chế độ track gán cho mỗi đối tượng được phát hiện một ID duy trì xuyên suốt các khung hình; nhờ vậy, một chiếc xe giữ nguyên ID track trong toàn bộ đoạn clip được tạo ra vẫn giữ được danh tính.

Diffusion forcing và các thuật ngữ liên quan#

• Model ngôn ngữ diffusion: Bỏ mask các token văn bản rời rạc song song qua nhiều bước, với một tỷ lệ mask chung cho mỗi bước.
• Policy diffusion: Khử nhiễu một đoạn hành động của robot với cùng mức nhiễu trên mọi hành động, dựa trên các quan sát sạch.
• Diffusion tạo video từ văn bản: Hầu hết hệ thống tạo clip có độ dài cố định bằng diffusion toàn chuỗi; các biến thể diffusion forcing mở rộng clip vượt quá độ dài đó theo từng đoạn.