Text-to-Image
Model chuyển văn bản thành hình ảnh biến prompt bằng ngôn ngữ tự nhiên thành hình ảnh mới, chủ yếu bằng các model khuếch tán tiềm ẩn hoặc flow được huấn luyện trên hàng tỷ hình ảnh có chú thích.
Tạo ảnh từ văn bản là tác vụ tạo ảnh mới từ mô tả bằng ngôn ngữ tự nhiên, gọi là prompt. Model tạo ảnh từ văn bản học mối quan hệ giữa từ ngữ và nội dung thị giác từ hàng trăm triệu đến hàng tỷ cặp ảnh-caption, sau đó chuyển prompt như "một chiếc xe đạp màu đỏ tựa vào bức tường gạch lúc hoàng hôn" thành một hình ảnh chưa từng tồn tại. Đây là ứng dụng cốt lõi của AI tạo sinh, kết hợp xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính. Hầu hết hệ thống hiện nay, bao gồm Stable Diffusion, FLUX và Imagen của Google, là model khuếch tán hoặc flow; trong khi một số hệ thống khác, chẳng hạn tính năng tạo ảnh OpenAI tích hợp vào GPT-4o năm 2025, tạo ảnh tự hồi quy dưới dạng chuỗi token.
Cách thức Hoạt động của Model Tạo ảnh từ Văn bản#
Trước tiên, bộ mã hóa văn bản chuyển prompt thành embedding. Các phiên bản Stable Diffusion đầu tiên sử dụng bộ mã hóa văn bản CLIP của OpenAI; Imagen của Google cho thấy việc mở rộng bộ mã hóa ngôn ngữ cố định, đến model T5-XXL, cải thiện chất lượng ảnh và mức độ tương ứng giữa ảnh với văn bản nhiều hơn đáng kể so với việc mở rộng bộ sinh ảnh. Sau đó, bộ sinh bắt đầu từ nhiễu ngẫu nhiên và loại bỏ nhiễu qua 20 đến 50 bước, thường trong không gian nén của model khuếch tán tiềm ẩn; các layer cross-attention hoặc attention kết hợp cho phép mọi phần của ảnh chú ý đến prompt. Classifier-free guidance so sánh dự đoán của model khi có và không có prompt rồi khuếch đại khác biệt, vì vậy guidance scale cao hơn giúp ảnh bám sát prompt hơn nhưng giảm tính đa dạng. Cuối cùng, decoder chuyển latent hoàn chỉnh thành pixel.
Dữ liệu huấn luyện định hình những gì model có thể vẽ. Stable Diffusion được huấn luyện trên các tập con của LAION-5B, gồm 5.85 tỷ cặp ảnh-văn bản thu thập từ web; DALL-E 3 của OpenAI cải thiện khả năng làm theo prompt bằng cách huấn luyện trên chú thích tổng hợp chi tiết thay vì văn bản thay thế ngắn đi kèm hầu hết ảnh web. Dữ liệu quy mô web cũng kéo theo vấn đề: LAION rút LAION-5B vào tháng 12 năm 2023 sau khi báo cáo của Stanford Internet Observatory phát hiện các liên kết đến tài liệu lạm dụng tình dục trẻ em trong tập dữ liệu này, rồi phát hành Re-LAION-5B đã làm sạch vào tháng 8 năm 2024.
Các họ model#
- Model khuếch tán và flow: Khử nhiễu ảnh hoặc latent qua nhiều bước. Họ model này gồm DALL-E 2 và 3, Imagen, Stable Diffusion và FLUX; các model mới hơn thay bộ khử nhiễu U-Net bằng Transformer khuếch tán được huấn luyện bằng rectified flow.
- Model tự hồi quy: Chuyển ảnh thành token rời rạc rồi dự đoán từng token một bằng Transformer, phương pháp được dùng trong DALL-E đời đầu năm 2021 và Parti của Google. OpenAI mô tả tính năng tạo ảnh của GPT-4o, ra mắt vào tháng 3 năm 2025, là một model tự hồi quy được tích hợp sẵn trong ChatGPT, khác với DALL-E dựa trên khuếch tán.
- Mạng đối sinh: Tạo ảnh trong một lượt truyền xuôi. Các GAN có điều kiện văn bản như AttnGAN ra đời trước model khuếch tán và lấy mẫu nhanh hơn, nhưng kém tin cậy hơn khi làm theo prompt phức tạp.
Đánh giá ảnh được tạo#
Khoảng cách Inception Fréchet (FID) so sánh thống kê của ảnh được tạo với ảnh thật để đo chất lượng và tính đa dạng; CLIP score đo mức độ khớp giữa ảnh và prompt trong không gian embedding chung. Cả hai đều không kiểm tra chi tiết như số lượng hoặc vị trí đối tượng, vì vậy GenEval chạy model phát hiện đối tượng trên ảnh được tạo để xác minh sự đồng xuất hiện, vị trí và số lượng đối tượng, đồng thời dùng thêm các model thị giác khác để kiểm tra màu sắc. Các bảng xếp hạng công khai xếp hạng model thương mại và mở dựa trên hàng nghìn lượt bình chọn so sánh từng cặp của con người, qua đó đánh giá đồng thời tính thẩm mỹ và mức độ tuân theo prompt.
Văn bản thành hình ảnh và các thuật ngữ liên quan#
- Tạo chú thích ảnh: Chiều ngược lại, tạo mô tả bằng văn bản cho một ảnh có sẵn.
- Văn bản thành video: Tạo chuỗi khung hình cần nhất quán theo thời gian, làm tăng đáng kể lượng tính toán và dữ liệu cần thiết so với model sinh ảnh từ văn bản.
- Tô vẽ ảnh và ảnh sang ảnh: Bắt đầu từ ảnh có sẵn rồi thay đổi một phần hoặc toàn bộ ảnh theo prompt, sử dụng cùng model nhưng thêm đầu vào là ảnh.
- Mô hình thị giác-ngôn ngữ: Đọc ảnh và văn bản rồi trả lời bằng văn bản. Các model đa phương thức tự nhiên như GPT-4o và Gemini đã bổ sung khả năng tạo ảnh vào khả năng hiểu ảnh.
Ứng dụng và rủi ro#
Nhà thiết kế, studio game và nhóm marketing dùng model sinh ảnh từ văn bản để khám phá ý tưởng và tạo hình ảnh sản phẩm; các nhóm thị giác dùng chúng để tạo dữ liệu tổng hợp cho những lớp, lỗi và điều kiện hiếm khó chụp ảnh. Trên Ultralytics Platform, thao tác Tạo ảnh tương tự mô tả các cảnh mới lấy cảm hứng từ ảnh trong tập dữ liệu và tạo một ảnh cho mỗi mô tả, với hướng dẫn tùy chọn về ánh sáng, góc nhìn, nền hoặc đối tượng; ảnh người dùng giữ lại sẽ được thêm vào tập dữ liệu mà chưa gán nhãn, sẵn sàng để gán nhãn. Ảnh tổng hợp chỉ hữu ích khi chúng mô phỏng đúng những gì model còn thiếu:
Tính chân thực tương tự cũng tạo ra rủi ro. Model tái tạo thiên kiến từ dữ liệu huấn luyện và có thể tạo ra deepfake thuyết phục. Các nhà cung cấp ứng phó bằng đóng dấu bản quyền AI, chẳng hạn SynthID của Google, và C2PA Content Credentials, tức metadata có chữ ký ghi lại công cụ nào đã tạo hoặc chỉnh sửa ảnh.
