Diffusion Forcing

Diffusion Forcing là một mô hình tạo sinh nâng cao được giới thiệu vào năm 2024, kết hợp thế mạnh của dự đoán token tiếp theo tự hồi quy với khuếch tán toàn chuỗi. Bằng cách áp dụng các mức nhiễu độc lập và thay đổi cho các bước khác nhau trong một chuỗi, kỹ thuật này cho phép các mô hình machine learning tạo ra dữ liệu thời gian có tính nhất quán cao. Không giống như các phương pháp truyền thống dự đoán các token rời rạc từng cái một hoặc khử nhiễu toàn bộ chuỗi cùng một lúc, Diffusion Forcing đào tạo các mô hình hoạt động như các trình lập kế hoạch và tạo chuỗi mạnh mẽ, xử lý các trạng thái liên tục với các phụ thuộc tầm xa, phức tạp.

Cách thức hoạt động của Diffusion Forcing#

Về cốt lõi, Diffusion Forcing lấy cảm hứng từ teacher forcing cổ điển được sử dụng trong mạng nơ-ron hồi tiếp. Tuy nhiên, thay vì cung cấp các token rời rạc đúng thực tế để dự đoán bước tiếp theo, nó cung cấp các lịch sử liên tục bị nhiễu một phần cho một Transformer nhân quả. Mô hình học cách khử nhiễu trạng thái hiện tại dựa trên điều kiện của quá khứ. Điều này cho phép mạng lưới điều chỉnh động mức nhiễu cho mỗi khung hình, cung cấp một framework linh hoạt cho các tác vụ đòi hỏi cả độ chính xác cục bộ và nhận thức thời gian rộng.

Phương pháp này rất có lợi khi xây dựng các AI agents thông minh phải phản ứng với các môi trường khó đoán trong khi vẫn tuân thủ kế hoạch dài hạn, bỏ qua các vấn đề lỗi tích lũy thường gặp ở các mô hình tự hồi quy tiêu chuẩn.

Các ứng dụng trong thực tế#

Diffusion Forcing đang nhanh chóng thu hút được sự quan tâm trong một số lĩnh vực artificial intelligence phức tạp:

• Robotics and Visuo-Motor Control: Các cánh tay robot tự động và hệ thống tự lái sử dụng Diffusion Forcing để tạo ra các kế hoạch quỹ đạo liên tục, mượt mà. Bằng cách dự đoán các chuỗi lệnh mô tơ liên tục, robot có thể thích ứng với các chướng ngại vật động trong khi vẫn duy trì một đường đi ổn định đến mục tiêu của chúng.
• Video Generation and Forecasting: Trong các pipeline computer vision nâng cao, các mô hình tận dụng kỹ thuật này để dự đoán các khung hình video trong tương lai với độ nhất quán thời gian nghiêm ngặt, tránh các hiện tượng nhấp nháy thường thấy ở các phương pháp tạo sinh trước đó.

So sánh Diffusion Forcing với các Diffusion Models tiêu chuẩn#

Mặc dù chia sẻ cơ chế khử nhiễu cơ bản, Diffusion Forcing khác biệt rõ rệt so với các Diffusion Models tiêu chuẩn. Các mô hình khuếch tán truyền thống, giống như những mô hình được sử dụng để tạo text-to-image, thường khử nhiễu tất cả các pixel hoặc biến ẩn của một đầu ra tĩnh đơn lẻ cùng một lúc. Ngược lại, Diffusion Forcing mô hình hóa một cách rõ ràng chuỗi thời gian, buộc mạng lưới phải tuân thủ thứ tự chuỗi nhân quả. Điều này làm cho nó phù hợp hơn nhiều cho các tác vụ thời gian như dự đoán quỹ đạo và action recognition.

Tích hợp xử lý chuỗi trong thực tế#

Mặc dù Diffusion Forcing chủ yếu áp dụng cho các tác vụ chuỗi tạo sinh, việc diễn giải các chuỗi thời gian cũng quan trọng không kém trong các pipeline thị giác hiện đại. Ví dụ, bạn có thể theo dõi hiệu quả các đối tượng qua các khung hình video tuần tự bằng cách sử dụng Ultralytics YOLO26, xử lý tính nhất quán về thời gian một cách tự nhiên trong quá trình object tracking.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed inference
model = YOLO("yolo26n.pt")

# Process a temporal sequence (video) to maintain consistent object identities
results = model.track(source="path/to/video.mp4", stream=True)

# Iterate through the sequence of frames
for frame_result in results:
    # Access temporal tracking IDs for objects in the current state
    print(f"Tracked {len(frame_result.boxes)} objects in the current frame.")

Đối với các nhóm muốn mở rộng quy mô thu thập dữ liệu chuỗi và đào tạo các mô hình thị giác nâng cao, Ultralytics Platform cung cấp các công cụ dựa trên đám mây mạnh mẽ để quản lý các tập dữ liệu phức tạp, theo dõi các thử nghiệm và triển khai các mô hình trực tiếp tới biên. Cho dù bạn đang thử nghiệm với các transformers nhân quả tiên tiến trong PyTorch hay triển khai các hệ thống theo dõi thời gian thực, việc nắm vững điểm giao thoa giữa dữ liệu không gian và thời gian là điều cần thiết cho tương lai của AI.