Stable Diffusion

Stable Diffusion là họ model chuyển văn bản thành ảnh có trọng số mở của Stability AI, dùng để tạo và chỉnh sửa ảnh từ prompt ngôn ngữ tự nhiên. Phiên bản đầu tiên, phát hành tháng 8 năm 2022, là kết quả hợp tác với nhóm CompVis tại LMU Munich và Runway, áp dụng nghiên cứu khuếch tán tiềm ẩn của họ lên ảnh 512×512 từ một tập con của bộ dữ liệu LAION-5B. U-Net có 860 triệu tham số và bộ mã hóa văn bản có 123 triệu tham số của model chạy trên GPU phổ thông có ít nhất 10 GB bộ nhớ; vì ai cũng có thể tải xuống trọng số, model trở thành nền tảng cho hệ sinh thái lớn gồm model tinh chỉnh, adapter và công cụ chỉnh sửa. Bản phát hành hiện tại, Stable Diffusion 3.5 từ tháng 10 năm 2024, thay U-Net bằng Transformer khuếch tán đa phương thức được huấn luyện bằng dòng chảy hiệu chỉnh.

Cách Stable Diffusion hoạt động#

Stable Diffusion là một model khuếch tán khử nhiễu trên ảnh nén thay vì pixel, sử dụng ba mạng:

• Bộ mã hóa tự động biến phân (VAE): Bộ mã hóa nén ảnh 512×512×3 thành biểu diễn tiềm ẩn 64×64×4, ít hơn 48 lần số giá trị; bộ giải mã chuyển biểu diễn tiềm ẩn hoàn chỉnh trở lại thành ảnh. Toàn bộ quá trình khử nhiễu diễn ra trên biểu diễn tiềm ẩn nhỏ, nhờ đó model có thể chạy trên phần cứng phổ thông.
• Bộ mã hóa văn bản: Chuyển prompt dài tối đa 77 token thành embedding. Stable Diffusion 1.x sử dụng ViT-L/14 CLIP của OpenAI, 2.x sử dụng OpenCLIP ViT-H/14, SDXL kết hợp hai bộ mã hóa CLIP, còn Stable Diffusion 3 bổ sung model ngôn ngữ T5-XXL vào hai bộ mã hóa CLIP để hiểu prompt tốt hơn.
• Mạng khử nhiễu: Dự đoán lượng nhiễu cần loại bỏ ở mỗi bước. Các phiên bản 1.x, 2.x và SDXL sử dụng U-Net, trong đó các lớp cross-attention cho phép đặc trưng ảnh chú ý đến embedding văn bản; các phiên bản 3 và 3.5 sử dụng MMDiT xử lý đồng thời token ảnh và văn bản.

Quá trình tạo ảnh bắt đầu từ biểu diễn tiềm ẩn 64×64×4 ngẫu nhiên. Bộ lập lịch chạy mạng khử nhiễu thường từ 20 đến 50 bước, mỗi lần loại bỏ một phần nhiễu dự đoán; hướng dẫn không cần bộ phân loại làm tăng ảnh hưởng của prompt. Sau đó, bộ giải mã VAE tạo ra ảnh:

Vì biểu diễn tiềm ẩn ban đầu là ngẫu nhiên, cùng một prompt với seed khác sẽ tạo ra ảnh khác, còn cùng seed và thiết lập sẽ tái tạo ảnh đó.

Các phiên bản model#

• Stable Diffusion 1.x (2022): Tạo ảnh 512×512 với U-Net có 860M tham số; phiên bản 1.5 trở thành nền tảng phổ biến cho các bản tinh chỉnh của cộng đồng, và bài báo về ControlNet được xây dựng dựa trên phiên bản này. Trọng số sử dụng giấy phép CreativeML OpenRAIL-M.
• Stable Diffusion 2.x (cuối năm 2022): Chuyển sang bộ mã hóa văn bản OpenCLIP và bổ sung model 768×768.
• SDXL (tháng 7 năm 2023): Tạo ảnh gốc 1024×1024 bằng U-Net có khoảng 2.6 tỷ tham số và hai bộ mã hóa văn bản. SDXL Turbo, phát hành vào tháng 11 cùng năm, sử dụng phương pháp chưng cất khuếch tán đối kháng để tạo ảnh chỉ trong một bước.
• Stable Diffusion 3 và 3.5 (2024): Thay U-Net bằng Transformer dòng chảy hiệu chỉnh có trọng số riêng cho token ảnh và văn bản. Stable Diffusion 3.5 Large có 8.1 tỷ tham số, còn 3.5 Medium có 2.5 tỷ. Giấy phép cộng đồng Stability AI cho phép sử dụng thương mại miễn phí đối với các tổ chức có doanh thu hằng năm dưới $1 million.

Chỉnh sửa ảnh bằng Stable Diffusion#

• Chuyển ảnh thành ảnh: Mã hóa một ảnh có sẵn, thêm nhiễu đến bước trung gian được xác định bằng giá trị cường độ, rồi khử nhiễu bằng prompt mới; kết quả giữ lại bố cục và màu sắc ban đầu nhưng thay đổi phong cách hoặc nội dung.
• Tinh chỉnh: DreamBooth và LoRA điều chỉnh model theo một đối tượng hoặc phong cách mới từ vài chục ảnh; ControlNet bổ sung bản đồ cạnh, độ sâu hoặc tư thế làm điều kiện cấu trúc.
• Tô ảnh: Chỉ tạo lại vùng được đánh dấu để phù hợp với prompt và các vùng xung quanh. Các checkpoint tô ảnh của Stable Diffusion bổ sung năm kênh đầu vào cho U-Net: bốn kênh cho ảnh đã mã hóa với vùng bị che và một kênh cho chính mặt nạ.

Mặt nạ tô ảnh có màu trắng ở nơi ảnh cần thay đổi và màu đen ở nơi cần giữ nguyên. Các model phân đoạn đối tượng Ultralytics YOLO26 tự động tạo những mặt nạ như vậy, chẳng hạn để thay thế hoặc xóa mọi phương tiện thuộc một lớp trong ảnh đường phố:

import cv2
from ultralytics import YOLO

# Phân đoạn xe buýt (lớp COCO 5) bằng model phân đoạn đối tượng YOLO26
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[5], retina_masks=True)
result = results[0]

# Màu trắng đánh dấu các pixel Stable Diffusion cần vẽ lại, màu đen đánh dấu các pixel cần giữ nguyên
mask = (result.masks.data.sum(dim=0) > 0).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_inpaint_mask.png", mask)

bus_inpaint_mask.png đã lưu có độ phân giải đầy đủ của ảnh vì retina_masks=True trả về mặt nạ ở kích thước ảnh gốc. Khi có ảnh, mặt nạ này và prompt như "một chiếc xe buýt hai tầng màu đỏ", pipeline tô ảnh sẽ tạo lại xe buýt và giữ nguyên con phố xung quanh.

Ứng dụng thực tế#

• Dữ liệu tổng hợp cho model thị giác: Các nhóm tạo ảnh về lỗi hiếm gặp, thời tiết bất thường hoặc góc nhìn ít phổ biến để bù đắp thiếu hụt trong tập dữ liệu huấn luyện, đồng thời dùng tính năng tô ảnh để thêm đối tượng mới vào phông nền thực.
• Concept art và thiết kế: Các studio game, kiến trúc sư và nhà thiết kế sản phẩm nhanh chóng thử nghiệm nhiều phong cách và bố cục trong giai đoạn phát triển ý tưởng ban đầu.
• Hình ảnh tiếp thị và thương mại điện tử: Chuyển ảnh thành ảnh và ControlNet giữ nguyên hình dạng sản phẩm trong khi prompt thay đổi bối cảnh, ánh sáng và phông nền.

Stable Diffusion và các model liên quan#

• Model khuếch tán tiềm ẩn: Stable Diffusion là cách triển khai kiến trúc khuếch tán tiềm ẩn nổi tiếng nhất, vì vậy mọi model Stable Diffusion đều là model khuếch tán tiềm ẩn.
• GAN: Tạo ảnh chỉ trong một lượt truyền xuôi nhưng huấn luyện kém ổn định hơn và tạo ra ít loại ảnh đa dạng hơn. Stable Diffusion cần nhiều bước khử nhiễu, trừ khi được chưng cất như SDXL Turbo.
• Model tạo ảnh đóng: Các dịch vụ như model ảnh của OpenAI và Midjourney chỉ chạy trên máy chủ của nhà cung cấp. Có thể tải xuống trọng số Stable Diffusion, chạy ngoại tuyến, kiểm tra và tinh chỉnh.
• FLUX.1: Black Forest Labs, thành lập năm 2024 bởi các nhà nghiên cứu đứng sau bài báo gốc về khuếch tán tiềm ẩn, gồm Robin Rombach, Andreas Blattmann và Patrick Esser, đã phát hành họ model FLUX.1 có 12 tỷ tham số, sử dụng cùng phương pháp Transformer dòng chảy hiệu chỉnh như Stable Diffusion 3.