Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Consistency Models

Model nhất quán ánh xạ trực tiếp mọi điểm nhiễu trên quỹ đạo khuếch tán về dữ liệu sạch, nhờ đó tạo ảnh chỉ trong một hoặc hai bước. Tìm hiểu cách huấn luyện.

Model nhất quán là một model AI tạo sinh ánh xạ trực tiếp bất kỳ điểm nào trên quỹ đạo khử nhiễu của model khuếch tán về điểm khởi đầu sạch của quỹ đạo đó, nhờ vậy có thể chuyển nhiễu thuần thành mẫu chỉ bằng một lần đánh giá mạng. Model khuếch tán đạt kết quả tương tự bằng cách loại bỏ nhiễu qua hàng chục đến hàng trăm bước nhỏ, khiến chúng chậm khi cần inference thời gian thực. Yang Song, Prafulla Dhariwal, Mark Chen và Ilya Sutskever tại OpenAI giới thiệu model nhất quán vào tháng 3 năm 2023 trong bài báo Consistency Models, báo cáo điểm khoảng cách Fréchet Inception (FID) khi chạy một bước là 3.55 trên CIFAR-10 và 6.20 trên ImageNet 64 x 64; đây là kết quả chạy một bước tốt nhất tại thời điểm đó.

Thuộc tính nhất quán#

Quá trình lấy mẫu khuếch tán có thể được biểu diễn bằng phương trình vi phân thường của dòng xác suất (ODE), liên kết mỗi mẫu nhiễu với đúng một mẫu dữ liệu dọc theo một đường đi xác định. Mọi điểm trên đường đi đó, từ hơi nhiễu đến nhiễu thuần, đều có cùng một nguồn gốc. Hàm nhất quán f(x, t) nhận điểm x tại mức nhiễu t và trả về nguồn gốc; tính nhất quán nghĩa là hàm trả về cùng một đầu ra cho mọi điểm trên cùng một quỹ đạo. Ở mức nhiễu thấp nhất, hàm phải trả về nguyên trạng đầu vào; điều kiện biên này được tích hợp vào mạng bằng skip connection, trong đó trọng số cho đầu vào bằng 1 tại mức đó còn trọng số cho đầu ra của mạng neural bằng 0.

Với dữ liệu Gaussian một chiều, hàm nhất quán có dạng đóng, thể hiện cả hai thuộc tính chỉ trong vài dòng PyTorch:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Cả bốn điểm trên quỹ đạo, tại 2.6, 3.34, 14.01 và 98.0, đều ánh xạ trở lại 2.6; chỉ một lần gọi đã biến 100,000 mẫu nhiễu thuần thành các mẫu có giá trị trung bình 1.99 và độ lệch chuẩn 0.50, khớp với phân phối dữ liệu. Ảnh không có công thức như vậy, nên mạng học f từ dữ liệu.

Huấn luyện bằng chưng cất hoặc từ đầu#

  • Chưng cất nhất quán: Model khuếch tán pretrained và bộ giải ODE đưa mẫu nhiễu đi một bước đến mức nhiễu thấp hơn; hàm loss kéo các đầu ra của model tại hai điểm đó lại gần nhau.
  • Huấn luyện nhất quán: Không cần teacher. Phương pháp này tạo hai điểm liền kề bằng cách thêm cùng một mẫu nhiễu vào một ảnh sạch tại hai mức nhiễu, qua đó ước tính quỹ đạo mà không cần giải ODE.

Trong bài báo gốc, đầu ra tại điểm ít nhiễu hơn được lấy từ trung bình trượt hàm mũ (EMA) của chính trọng số model, tức một bản sao được cập nhật chậm để mục tiêu không thay đổi sau mỗi bước. Ultralytics YOLO26 duy trì cùng loại trung bình trong quá trình huấn luyện: model cập nhật bản sao EMA sau mỗi bước optimizer, với hệ số decay tăng dần đến 0.9999; quá trình validation và các checkpoint last.pt và best.pt đã lưu đều dùng bản sao này. Phương pháp huấn luyện nhất quán cải tiến (iCT) của Song và Dhariwal vào tháng 10 năm 2023 đặt hệ số decay EMA của bản sao mục tiêu bằng 0, thay loss cảm nhận LPIPS bằng loss Pseudo-Huber, và đạt FID một bước là 2.51 trên CIFAR-10 cùng 3.25 trên ImageNet 64 x 64 mà không cần model khuếch tán pretrained. sCM thời gian liên tục của Cheng Lu và Yang Song mở rộng phương pháp lên 1.5 tỷ tham số vào tháng 10 năm 2024, đạt FID hai bước là 1.88 trên ImageNet 512 x 512.

Lấy mẫu nhiều bước và chỉnh sửa zero-shot#

Một bước tạo mẫu nhanh nhất, còn thêm một vài bước sẽ cải thiện chất lượng. Lấy mẫu nhiều bước luân phiên giữa bước nhảy về dữ liệu sạch và thêm nhiễu trở lại ở mức nhiễu thấp hơn, nhờ đó mỗi lượt xử lý tinh chỉnh ước tính trước đó:

Cùng một vòng lặp có thể chỉnh sửa ảnh mà không cần huấn luyện riêng cho tác vụ. Thay các pixel đã biết sau mỗi bước nhảy sẽ biến quy trình thành inpainting ảnh; áp đặt ràng buộc lên phiên bản giảm độ phân giải hoặc ảnh xám sẽ biến quy trình thành siêu phân giải hoặc tô màu; cả ba ứng dụng đều được trình diễn trong bài báo gốc.

  • Các mô hình nhất quán tiềm ẩn (LCMs): Chưng cất Stable Diffusion thành một model chạy trong không gian tiềm ẩn, mang khả năng tạo ảnh từ văn bản chỉ trong một đến bốn bước đến các model mở vào tháng 10 năm 2023.
  • Chính sách khuếch tán: Bộ điều khiển robot khử nhiễu các chuỗi hành động. Aaditya Prasad và cộng sự tại Stanford và Princeton chưng cất chúng thành Consistency Policy vào năm 2024; phương pháp này tăng tốc inference lên một bậc độ lớn so với phương án thay thế nhanh nhất và chạy được trên GPU laptop.
  • Rectified flow: Làm thẳng chính các quỹ đạo từ nhiễu đến dữ liệu, nhờ đó bộ giải ODE thông thường chỉ cần vài bước.
  • Chưng cất tăng dần: Phương pháp năm 2022 của Tim Salimans và Jonathan Ho giảm một nửa số bước của model diffusion trong mỗi vòng chưng cất, đạt 4 bước sau nhiều vòng; trong khi đó, chưng cất nhất quán huấn luyện model để thực hiện trực tiếp bước nhảy một bước.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning