Diffusion Transformer (DiT)

Diffusion Transformer (DiT) là một kiến trúc tạo sinh tiên tiến kết hợp sức mạnh xử lý tuần tự của transformers với khả năng tổng hợp hình ảnh có độ trung thực cao của diffusion models. Theo truyền thống, các hệ thống dựa trên khuếch tán phụ thuộc rất nhiều vào kiến trúc U-Net tích chập để khử nhiễu đầu vào theo phương pháp lặp và tạo ra hình ảnh. DiT thay thế xương sống U-Net này bằng một kiến trúc transformer có khả năng mở rộng, coi dữ liệu trực quan như một chuỗi các bản vá, tương tự cách mà Vision Transformer (ViT) phân tích hình ảnh. Sự thay đổi mô hình này cho phép các mô hình mở rộng quy mô một cách dễ dự đoán hơn, tận dụng tài nguyên tính toán tăng lên để tạo ra các đầu ra có tính chân thực ảnh và mạch lạc ngày càng cao.

Phân biệt DiT và các mô hình khuếch tán truyền thống#

Mặc dù các diffusion models truyền thống đóng vai trò nền tảng cho Generative AI hiện đại, nhưng xương sống U-Net của chúng thường gặp phải các điểm nghẽn khi mở rộng lên số lượng tham số khổng lồ. Ngược lại, Diffusion Transformers tự động kế thừa các định luật mở rộng được quan sát thấy ở Large Language Models (LLMs). Bằng cách loại bỏ các thành phần thiên vị lấy mẫu không gian xuống và sử dụng các cơ chế tự chú ý toàn cục, DiT học được các mối quan hệ không gian phức tạp trên toàn bộ hình ảnh hoặc khung hình video. Để đi sâu hơn vào nguồn gốc của hành vi mở rộng quy mô này, bạn có thể xem lại nghiên cứu gốc về DiT được công bố trên arXiv đã thiết lập các chuẩn mực hiệu suất này.

Các ứng dụng trong thực tế#

Tính linh hoạt và khả năng mở rộng của Diffusion Transformers đã châm ngòi cho những bước đột phá quan trọng trên nhiều lĩnh vực computer vision:

1. Tạo video độ trung thực cao: Ứng dụng nổi bật nhất của kiến trúc DiT được tìm thấy trong các mô hình văn bản thành video, chẳng hạn như OpenAI's Sora model. Bằng cách hiểu được tính nhất quán theo thời gian và không gian 3D, DiT có thể tổng hợp các đoạn video siêu thực dài một phút, duy trì logic vật lý qua từng khung hình, cách mạng hóa việc tạo nội dung kỹ thuật số và hiệu ứng hình ảnh.

2. Tổng hợp hình ảnh nâng cao: Trong thiết kế thương mại và tạo nghệ thuật artificial intelligence, DiT cung cấp độ trung thực văn bản thành hình ảnh chưa từng có. Chúng được các cơ quan sáng tạo sử dụng để tạo ra các tài sản tiếp thị có độ chính xác cao, hiển thị các lời nhắc phức tạp với kiểu chữ chính xác và tính chân thực bố cục mà các mô hình U-Net trước đó gặp khó khăn trong việc đạt được.

Triển khai các khái niệm Transformer#

Mặc dù DiT chủ yếu được sử dụng cho các tác vụ tạo sinh nặng, bạn có thể khám phá các cơ chế tự chú ý nền tảng mà chúng dựa vào bằng cách sử dụng các thư viện deep learning tiêu chuẩn. Đoạn mã Python sau đây sử dụng PyTorch để minh họa cách các bản vá hình ảnh được làm phẳng được xử lý thông qua một lớp transformer, một hoạt động cốt lõi trong mạng DiT.

import torch
import torch.nn as nn

# Define a standard Transformer layer acting as a DiT building block
transformer_layer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

# Simulate flattened latent image patches (Sequence Length, Batch Size, Features)
latent_patches = torch.rand(196, 1, 256)

# Apply self-attention to process and relate patches globally
output_features = transformer_layer(latent_patches)
print(f"Processed feature shape: {output_features.shape}")

Để có thông tin kỹ thuật toàn diện về các lớp chú ý, PyTorch documentation on Transformer modules cung cấp một điểm khởi đầu tuyệt vời.

Kết nối giữa tạo sinh và phát hiện#

Diffusion Transformers đại diện cho ranh giới tiên tiến của việc tạo nội dung, nhưng nhiều quy trình doanh nghiệp yêu cầu phân tích trực quan thời gian thực thay vì tổng hợp. Đối với các tác vụ đòi hỏi suy luận tốc độ cao, chẳng hạn như object detection và image segmentation, các mô hình tối ưu hóa biên nhẹ vẫn là tiêu chuẩn công nghiệp.

Ultralytics YOLO26 được thiết kế chính xác cho các computer vision tasks phân tích này. Nó mang lại tốc độ và độ chính xác chưa từng có ngay lập tức, tránh chi phí tính toán nặng nề được yêu cầu bởi các transformer tạo sinh khổng lồ. Để chuyển đổi dễ dàng từ việc tạo tập dữ liệu sang triển khai cấp doanh nghiệp, các nhà phát triển dựa vào Ultralytics Platform, một giải pháp đầu cuối để quản lý các đường ống AI trực quan mạnh mẽ. Để có góc nhìn rộng hơn về cách các mô hình tạo sinh và mô hình phân tích so sánh với nhau, Google's Machine Learning Crash Course cung cấp bối cảnh nền tảng tuyệt vời.