Diffusion Language Models

Mô hình ngôn ngữ khuếch tán là các model sinh có khả năng tạo hoặc chỉnh sửa văn bản thông qua quá trình khử nhiễu lặp lại, thay vì nghiêm ngặt sinh từng token từ trái sang phải. Chúng bắt đầu với một chuỗi bị làm hỏng—thường chứa các token bị che, bị thay thế hoặc không chắc chắn—rồi liên tục tinh chỉnh nhiều vị trí cho đến khi văn bản trở nên mạch lạc. Phương pháp này kết hợp các ý tưởng từ mô hình hóa ngôn ngữ và mô hình khuếch tán, mang đến một lựa chọn thay thế cho việc sinh token tiếp theo theo cách truyền thống.

Cách hoạt động của Mô hình ngôn ngữ khuếch tán#

Văn bản trước hết được chia thông qua tokenization thành các từ, từ con, ký tự hoặc những đơn vị rời rạc khác. Trong quá trình huấn luyện, một quy trình làm hỏng xuôi dần dần loại bỏ thông tin khỏi các chuỗi token. Tùy thuộc vào cách triển khai, token có thể được thay thế bằng các ký hiệu mask, các phương án thay thế được lấy mẫu hoặc các biểu diễn liên tục nhiễu được gọi là embeddings.

Model học quy trình ngược: dự đoán các phiên bản sạch hơn của những chuỗi bị làm hỏng. Khi suy luận, model bắt đầu với một khối bị che hoặc nhiễu nặng và thực hiện một số bước tinh chỉnh. Các bước đầu thiết lập ý nghĩa và cấu trúc tổng quát, trong khi các bước sau sửa từ vựng, ngữ pháp, định dạng và tính nhất quán cục bộ.

Nhiều mô hình ngôn ngữ khuếch tán sử dụng một Transformer để xử lý chuỗi. Transformer phù hợp với tác vụ này vì cơ chế attention của chúng có thể liên kết mọi token với ngữ cảnh xung quanh. Tài liệu Transformer của PyTorch cung cấp một tổng quan hữu ích về kiến trúc nền tảng này.

Không giống một hệ thống điền vào chỗ trống cố định, quá trình sinh bằng khuếch tán có thể liên tục xem xét lại các dự đoán. Một token được chọn trong một bước không nhất thiết là cố định; các vòng lặp sau có thể sửa đổi token đó khi phần còn lại của chuỗi cung cấp ngữ cảnh tốt hơn. Tổng quan về khuếch tán văn bản của Google DeepMind minh họa mô hình sinh lặp ở cấp khối này.

Mô hình khuếch tán và các khái niệm liên quan#

Một số thuật ngữ có liên quan chặt chẽ mô tả các mục tiêu hoặc kiến trúc khác nhau:

• Mô hình ngôn ngữ lớn tự hồi quy sinh các token theo chuỗi, trong đó mỗi dự đoán phụ thuộc vào đầu ra trước đó. Quy trình nhân quả này được minh họa trong hướng dẫn sinh văn bản tự hồi quy của TensorFlow. Ngược lại, mô hình khuếch tán có thể cập nhật nhiều vị trí trong mỗi bước tinh chỉnh.
• Mô hình ngôn ngữ có mask dự đoán các token được cố ý ẩn bằng cách sử dụng ngữ cảnh ở cả hai phía. Ví dụ về mô hình hóa ngôn ngữ có mask trên Keras minh họa mục tiêu huấn luyện này. Mô hình ngôn ngữ khuếch tán mở rộng ý tưởng đó thành một quy trình sinh hoàn chỉnh với nhiều mức độ làm hỏng và các vòng lặp khử nhiễu.
• Stable Diffusion là một hệ thống sinh ảnh, không phải mô hình ngôn ngữ lớn. Các dịch vụ ảnh Stable Diffusion của Stability AI tạo và chỉnh sửa nội dung hình ảnh, trong khi mô hình ngôn ngữ khuếch tán hoạt động trên các token văn bản hoặc biểu diễn của chúng.
• Diffusion Transformers mô tả việc sử dụng Transformer bên trong các hệ thống khuếch tán, thường để sinh ảnh hoặc video. Một mô hình ngôn ngữ khuếch tán được xác định bởi mục tiêu sinh văn bản, không chỉ bởi kiến trúc neural network của nó.

Các ứng dụng trong thực tế#

Một ứng dụng cụ thể là chỉnh sửa tài liệu và code. Thay vì nối thêm văn bản sau vị trí con trỏ, một mô hình ngôn ngữ khuếch tán có thể tinh chỉnh toàn bộ bản nháp hoặc đoạn được chọn. Ví dụ, model có thể tái dựng một hàm bị thiếu đồng thời sửa tên biến, import và comment trong toàn bộ khối. Khả năng sử dụng cả ngữ cảnh trước và sau rất hữu ích khi các thay đổi ở một vị trí ảnh hưởng đến vị trí khác.

Một ứng dụng khác là phân tích đa phương thức. Một hệ thống thị giác có thể trích xuất thông tin thực tế từ ảnh, sau đó một mô hình ngôn ngữ khuếch tán có thể lặp lại việc soạn báo cáo, chú thích hoặc phản hồi dựa trên các quan sát đó. Ví dụ, phát hiện đối tượng có thể xác định phương tiện và con người trong một cảnh giao thông trước khi thành phần ngôn ngữ soạn bản tóm tắt sự cố.

Quy trình sau sử dụng Ultralytics YOLO26 để tạo ngữ cảnh hình ảnh có cấu trúc cho quá trình sinh ngôn ngữ ở bước sau:

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

Quy trình dự đoán YOLO trả về các đầu ra có cấu trúc, trong khi phương thức Results.summary() chuyển đổi các detection thành các dictionary dễ truyền hơn vào một pipeline ngôn ngữ. Việc tách biệt này cho phép model thị giác cung cấp các quan sát có cơ sở, còn model ngôn ngữ xử lý quá trình soạn thảo lặp.

Lợi ích, hạn chế và hướng dẫn thực tiễn#

Mô hình ngôn ngữ khuếch tán có thể đề xuất nhiều token song song, sửa lại các lựa chọn trước đó và tự nhiên hỗ trợ điền vào hoặc chỉnh sửa có ràng buộc. Tuy nhiên, dự đoán song song không đảm bảo độ trễ đầu-cuối thấp hơn: quá trình sinh vẫn yêu cầu nhiều bước khử nhiễu, còn tốc độ phụ thuộc vào độ dài chuỗi, kích thước model, phần cứng và chiến lược lấy mẫu.

Văn bản cũng mang tính rời rạc, khiến việc làm hỏng dần dần kém tự nhiên hơn so với thêm nhiễu vào các pixel ảnh liên tục. Những hệ thống được cấu hình kém có thể tạo ra sự lặp lại, bỏ sót chi tiết bắt buộc, thay đổi không cần thiết phần văn bản đúng hoặc gặp khó khăn trong việc xác định độ dài đầu ra.

Các team nên đánh giá độ chính xác của tác vụ, tính đúng sự thật, độ ổn định khi chỉnh sửa, độ trễ và mức sử dụng tài nguyên trên các prompt đại diện. Hướng dẫn của Google Cloud về đánh giá AI tạo sinh khuyến nghị kết hợp các metric tự động với đánh giá của con người vì chất lượng ngôn ngữ phụ thuộc vào ngữ cảnh. Các triển khai có tác động lớn cũng nên tuân theo một quy trình có cấu trúc như Khung quản lý rủi ro AI của NIST.

Đối với các ứng dụng thị giác, Ultralytics Platform hỗ trợ gán nhãn dataset, huấn luyện model, triển khai và giám sát, giúp các team xây dựng thành phần nhận thức có thể cung cấp cơ sở cho các workflow ngôn ngữ dựa trên khuếch tán ở bước sau.