Diffusion Language Models

Các mô hình ngôn ngữ khuếch tán là mô hình tạo sinh tạo hoặc chỉnh sửa văn bản thông qua quá trình khử nhiễu lặp đi lặp lại thay vì sinh từng token một cách tuần tự từ trái sang phải. Chúng bắt đầu bằng một chuỗi bị nhiễu — thường chứa các token bị che (masked), bị thay thế hoặc không chắc chắn — và liên tục tinh chỉnh nhiều vị trí cho đến khi văn bản trở nên mạch lạc. Cách tiếp cận này kết hợp các ý tưởng từ mô hình ngôn ngữ và mô hình khuếch tán, mang đến một giải pháp thay thế cho việc sinh token tiếp theo truyền thống.

Link to this sectionCách hoạt động của mô hình ngôn ngữ khuếch tán#

Văn bản đầu tiên được chia nhỏ thông qua quá trình tách token thành các từ, từ ghép phụ (subwords), ký tự hoặc các đơn vị rời rạc khác. Trong quá trình huấn luyện, tiến trình làm nhiễu tiến dần dần loại bỏ thông tin khỏi các chuỗi token. Tùy thuộc vào cách triển khai, các token có thể được thay thế bằng các ký hiệu mặt nạ, các lựa chọn thay thế được lấy mẫu, hoặc các biểu diễn liên tục bị nhiễu gọi là embedding.

Mô hình học quy trình ngược lại: dự đoán các phiên bản sạch hơn của các chuỗi bị nhiễu. Tại thời điểm suy luận (inference), nó bắt đầu bằng một khối bị che hoặc nhiễu nặng và thực hiện một số bước tinh chỉnh. Các bước đầu thiết lập ý nghĩa và cấu trúc tổng quát, trong khi các bước sau sửa đổi từ vựng, ngữ pháp, định dạng và tính nhất quán cục bộ.

Nhiều mô hình ngôn ngữ khuếch tán sử dụng transformer để xử lý chuỗi. Transformer rất phù hợp cho tác vụ này vì cơ chế chú ý (attention mechanism) của chúng có thể liên kết mọi token với ngữ cảnh xung quanh. Tài liệu PyTorch Transformer cung cấp một cái nhìn tổng quan hữu ích về kiến trúc nền tảng này.

Khác với hệ thống điền vào chỗ trống cố định, quá trình sinh khuếch tán có thể cân nhắc lại các dự đoán nhiều lần. Một token được chọn trong một bước không nhất thiết phải là cố định; các vòng lặp sau có thể sửa đổi nó khi phần còn lại của chuỗi cung cấp ngữ cảnh tốt hơn. Tổng quan về khuếch tán văn bản của Google DeepMind minh họa mô hình sinh lặp lại theo từng khối này.

Link to this sectionMô hình khuếch tán và các khái niệm liên quan#

Một số thuật ngữ có liên quan chặt chẽ mô tả các mục tiêu hoặc kiến trúc khác nhau:

• Mô hình ngôn ngữ lớn tự hồi quy sinh ra các token theo thứ tự chuỗi, với mỗi dự đoán phụ thuộc vào đầu ra trước đó. Quá trình nhân quả này được minh họa trong hướng dẫn sinh văn bản tự hồi quy của TensorFlow. Thay vào đó, các mô hình khuếch tán có thể cập nhật nhiều vị trí trong mỗi bước tinh chỉnh.
• Mô hình ngôn ngữ bị che (Masked language models) dự đoán các token bị ẩn có chủ đích bằng cách sử dụng ngữ cảnh ở cả hai phía. Ví dụ mô hình hóa ngôn ngữ bị che của Keras minh họa mục tiêu huấn luyện này. Các mô hình ngôn ngữ khuếch tán mở rộng ý tưởng này thành một quy trình sinh hoàn chỉnh với nhiều cấp độ nhiễu và các vòng lặp khử nhiễu.
• Stable Diffusion là một hệ thống tạo ảnh, không phải là một mô hình ngôn ngữ lớn. Các dịch vụ hình ảnh Stable Diffusion của Stability AI tạo và chỉnh sửa nội dung trực quan, trong khi các mô hình ngôn ngữ khuếch tán hoạt động trên các token văn bản hoặc các biểu diễn của chúng.
• Diffusion Transformers mô tả việc sử dụng các transformer bên trong các hệ thống khuếch tán, thường dùng để tạo hình ảnh hoặc video. Một mô hình ngôn ngữ khuếch tán được định nghĩa bởi mục tiêu sinh văn bản của nó, chứ không chỉ riêng bởi kiến trúc mạng nơ-ron.

Link to this sectionCác ứng dụng trong thực tế#

Một ứng dụng cụ thể là chỉnh sửa tài liệu và mã nguồn. Thay vì nối thêm văn bản sau con trỏ, mô hình ngôn ngữ khuếch tán có thể tinh chỉnh toàn bộ bản nháp hoặc một khoảng được chọn. Ví dụ, nó có thể tái tạo một hàm còn thiếu trong khi sửa đổi tên biến, lệnh import và chú thích trên toàn bộ khối. Khả năng sử dụng cả ngữ cảnh trước và sau rất có giá trị khi các bản sửa lỗi ở vị trí này ảnh hưởng đến vị trí khác.

Ứng dụng thứ hai là phân tích đa phương thức (multimodal analysis). Hệ thống thị giác máy tính có thể trích xuất thông tin thực tế từ một hình ảnh, sau đó mô hình ngôn ngữ khuếch tán có thể lặp đi lặp lại để soạn thảo một báo cáo, chú thích hoặc phản hồi dựa trên những quan sát đó. Ví dụ, phát hiện đối tượng có thể xác định xe cộ và con người trong cảnh giao thông trước khi thành phần ngôn ngữ soạn thảo bản tóm tắt sự cố.

Quy trình làm việc sau đây sử dụng Ultralytics YOLO26 để tạo ngữ cảnh trực quan có cấu trúc cho việc sinh ngôn ngữ hạ nguồn:

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

The YOLO prediction workflow returns structured outputs, while the Results.summary() method converts detections into dictionaries that are easier to pass into a language pipeline. This separation lets the vision model provide grounded observations while the language model handles iterative composition.

Link to this sectionLợi ích, hạn chế và hướng dẫn thực tế#

Các mô hình ngôn ngữ khuếch tán có thể đề xuất nhiều token song song, sửa đổi các lựa chọn trước đó và hỗ trợ tự nhiên việc điền vào chỗ trống hoặc chỉnh sửa có ràng buộc. Tuy nhiên, việc dự đoán song song không đảm bảo độ trễ đầu cuối thấp hơn: việc sinh văn bản vẫn đòi hỏi nhiều bước khử nhiễu, và tốc độ phụ thuộc vào độ dài chuỗi, kích thước mô hình, phần cứng và chiến lược lấy mẫu.

Văn bản cũng mang tính rời rạc, khiến việc làm nhiễu dần dần ít tự nhiên hơn so với việc thêm nhiễu vào các pixel hình ảnh liên tục. Các hệ thống được cấu hình kém có thể tạo ra sự lặp lại, bỏ sót các chi tiết bắt buộc, thay đổi văn bản chính xác một cách không cần thiết, hoặc gặp khó khăn trong việc xác định độ dài đầu ra.

Các nhóm nên đánh giá độ chính xác của tác vụ, tính xác thực, độ ổn định khi chỉnh sửa, độ trễ và việc sử dụng tài nguyên trên các prompt đại diện. Hướng dẫn của Google Cloud về đánh giá AI tạo sinh khuyến nghị kết hợp các số liệu tự động với đánh giá của con người vì chất lượng ngôn ngữ phụ thuộc vào ngữ cảnh. Các hệ thống triển khai có tác động lớn cũng nên tuân theo một quy trình có cấu trúc như Khung quản lý rủi ro AI của NIST.

Đối với các ứng dụng thị giác, Ultralytics Platform hỗ trợ gán nhãn tập dữ liệu, huấn luyện mô hình, triển khai và giám sát, giúp các nhóm xây dựng thành phần nhận thức có thể làm nền tảng cho các quy trình ngôn ngữ dựa trên khuếch tán ở hạ nguồn.