Consistency Models
Model nhất quán ánh xạ trực tiếp mọi điểm nhiễu trên quỹ đạo khuếch tán về dữ liệu sạch, nhờ đó tạo ảnh chỉ trong một hoặc hai bước. Tìm hiểu cách huấn luyện.
Model nhất quán là một model AI tạo sinh ánh xạ trực tiếp bất kỳ điểm nào trên quỹ đạo khử nhiễu của model khuếch tán về điểm khởi đầu sạch của quỹ đạo đó, nhờ vậy có thể chuyển nhiễu thuần thành mẫu chỉ bằng một lần đánh giá mạng. Model khuếch tán đạt kết quả tương tự bằng cách loại bỏ nhiễu qua hàng chục đến hàng trăm bước nhỏ, khiến chúng chậm khi cần inference thời gian thực. Yang Song, Prafulla Dhariwal, Mark Chen và Ilya Sutskever tại OpenAI giới thiệu model nhất quán vào tháng 3 năm 2023 trong bài báo Consistency Models, báo cáo điểm khoảng cách Fréchet Inception (FID) khi chạy một bước là 3.55 trên CIFAR-10 và 6.20 trên ImageNet 64 x 64; đây là kết quả chạy một bước tốt nhất tại thời điểm đó.
Thuộc tính nhất quán#
Quá trình lấy mẫu khuếch tán có thể được biểu diễn bằng phương trình vi phân thường của dòng xác suất (ODE), liên kết mỗi mẫu nhiễu với đúng một mẫu dữ liệu dọc theo một đường đi xác định. Mọi điểm trên đường đi đó, từ hơi nhiễu đến nhiễu thuần, đều có cùng một nguồn gốc. Hàm nhất quán f(x, t) nhận điểm x tại mức nhiễu t và trả về nguồn gốc; tính nhất quán nghĩa là hàm trả về cùng một đầu ra cho mọi điểm trên cùng một quỹ đạo. Ở mức nhiễu thấp nhất, hàm phải trả về nguyên trạng đầu vào; điều kiện biên này được tích hợp vào mạng bằng skip connection, trong đó trọng số cho đầu vào bằng 1 tại mức đó còn trọng số cho đầu ra của mạng neural bằng 0.
Với dữ liệu Gaussian một chiều, hàm nhất quán có dạng đóng, thể hiện cả hai thuộc tính chỉ trong vài dòng PyTorch:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")Cả bốn điểm trên quỹ đạo, tại 2.6, 3.34, 14.01 và 98.0, đều ánh xạ trở lại 2.6; chỉ một lần gọi đã biến 100,000 mẫu nhiễu thuần thành các mẫu có giá trị trung bình 1.99 và độ lệch chuẩn 0.50, khớp với phân phối dữ liệu. Ảnh không có công thức như vậy, nên mạng học f từ dữ liệu.
Huấn luyện bằng chưng cất hoặc từ đầu#
- Chưng cất nhất quán: Model khuếch tán pretrained và bộ giải ODE đưa mẫu nhiễu đi một bước đến mức nhiễu thấp hơn; hàm loss kéo các đầu ra của model tại hai điểm đó lại gần nhau.
- Huấn luyện nhất quán: Không cần teacher. Phương pháp này tạo hai điểm liền kề bằng cách thêm cùng một mẫu nhiễu vào một ảnh sạch tại hai mức nhiễu, qua đó ước tính quỹ đạo mà không cần giải ODE.
Trong bài báo gốc, đầu ra tại điểm ít nhiễu hơn được lấy từ trung bình trượt hàm mũ (EMA) của chính trọng số model, tức một bản sao được cập nhật chậm để mục tiêu không thay đổi sau mỗi bước. Ultralytics YOLO26 duy trì cùng loại trung bình trong quá trình huấn luyện: model cập nhật bản sao EMA sau mỗi bước optimizer, với hệ số decay tăng dần đến 0.9999; quá trình validation và các checkpoint last.pt và best.pt đã lưu đều dùng bản sao này. Phương pháp huấn luyện nhất quán cải tiến (iCT) của Song và Dhariwal vào tháng 10 năm 2023 đặt hệ số decay EMA của bản sao mục tiêu bằng 0, thay loss cảm nhận LPIPS bằng loss Pseudo-Huber, và đạt FID một bước là 2.51 trên CIFAR-10 cùng 3.25 trên ImageNet 64 x 64 mà không cần model khuếch tán pretrained. sCM thời gian liên tục của Cheng Lu và Yang Song mở rộng phương pháp lên 1.5 tỷ tham số vào tháng 10 năm 2024, đạt FID hai bước là 1.88 trên ImageNet 512 x 512.
Lấy mẫu nhiều bước và chỉnh sửa zero-shot#
Một bước tạo mẫu nhanh nhất, còn thêm một vài bước sẽ cải thiện chất lượng. Lấy mẫu nhiều bước luân phiên giữa bước nhảy về dữ liệu sạch và thêm nhiễu trở lại ở mức nhiễu thấp hơn, nhờ đó mỗi lượt xử lý tinh chỉnh ước tính trước đó:
Cùng một vòng lặp có thể chỉnh sửa ảnh mà không cần huấn luyện riêng cho tác vụ. Thay các pixel đã biết sau mỗi bước nhảy sẽ biến quy trình thành inpainting ảnh; áp đặt ràng buộc lên phiên bản giảm độ phân giải hoặc ảnh xám sẽ biến quy trình thành siêu phân giải hoặc tô màu; cả ba ứng dụng đều được trình diễn trong bài báo gốc.
Ứng dụng và các phương pháp liên quan#
- Các mô hình nhất quán tiềm ẩn (LCMs): Chưng cất Stable Diffusion thành một model chạy trong không gian tiềm ẩn, mang khả năng tạo ảnh từ văn bản chỉ trong một đến bốn bước đến các model mở vào tháng 10 năm 2023.
- Chính sách khuếch tán: Bộ điều khiển robot khử nhiễu các chuỗi hành động. Aaditya Prasad và cộng sự tại Stanford và Princeton chưng cất chúng thành Consistency Policy vào năm 2024; phương pháp này tăng tốc inference lên một bậc độ lớn so với phương án thay thế nhanh nhất và chạy được trên GPU laptop.
- Rectified flow: Làm thẳng chính các quỹ đạo từ nhiễu đến dữ liệu, nhờ đó bộ giải ODE thông thường chỉ cần vài bước.
- Chưng cất tăng dần: Phương pháp năm 2022 của Tim Salimans và Jonathan Ho giảm một nửa số bước của model diffusion trong mỗi vòng chưng cất, đạt 4 bước sau nhiều vòng; trong khi đó, chưng cất nhất quán huấn luyện model để thực hiện trực tiếp bước nhảy một bước.










