Text-to-Image
文生图模型将自然语言提示转换为新图像，主要使用在数十亿张带说明文字的图像上训练的潜在扩散模型或流模型。
文本生成图像是根据称为提示的自然语言描述创建新图像的任务。文本生成图像模型从数亿到数十亿个图像-描述配对中学习词语与视觉内容之间的关系，然后将“一辆红色自行车在日落时靠着砖墙”这样的提示转换为一张从未存在过的图像。这是结合了自然语言处理 (NLP)和计算机视觉的生成式 AI核心应用。当前大多数系统（包括 Stable Diffusion、FLUX 和 Google 的 Imagen）都是扩散模型或流模型；其他系统（例如 OpenAI 于 2025 年集成到 GPT-4o 中的图像生成功能）则以 token 序列的形式自回归生成图像。
文生图模型的工作原理#
文本编码器首先会将提示词转换为嵌入。早期 Stable Diffusion 版本使用 OpenAI 的 CLIP文本编码器；Google 的 Imagen则表明，扩大冻结的语言编码器（最高达到 T5-XXL 模型），对图像质量和图文对齐度的提升远大于扩大图像生成器。随后，生成器从随机噪声开始，经过 20 至 50 个步骤逐步去噪；这些步骤通常在潜在扩散模型的压缩空间中进行，交叉注意力或联合注意力层会让图像的每个部分都关注提示词。无分类器引导会比较模型在有提示词和无提示词情况下的预测，并放大二者之间的差异，因此更高的引导尺度会让模型更贴合提示词，但多样性也会降低。最后，解码器会将完成的潜变量转换为像素。
训练数据会影响模型能够绘制的内容。Stable Diffusion 使用 LAION-5B的子集进行训练；该数据集包含从网络收集的 58.5 亿组图像与文本配对数据。OpenAI 的 DALL-E 3 则使用详细的合成说明文字进行训练，而不是大多数网络图像附带的简短替代文本，从而提升了对提示词的遵循能力。网络规模的数据也带来问题：斯坦福互联网观察站的报告发现 LAION-5B 中包含指向儿童性虐待材料的链接后，LAION 于 2023 年 12 月撤回了 LAION-5B，并于 2024 年 8 月发布了清理后的 Re-LAION-5B。
模型类型#
- 扩散模型和流模型： 通过多个步骤对图像或潜变量进行去噪。该类别包括 DALL-E 2 和 3、Imagen、Stable Diffusion 及 FLUX；较新的模型会使用通过整流流训练的扩散 Transformer 取代 U-Net 去噪器。
- 自回归模型： 将图像转换为离散 token，并使用 Transformer 一次预测一个 token；最初的 DALL-E（2021 年）和 Google 的 Parti 都采用这种方法。OpenAI 将于 2025 年 3 月推出的 GPT-4o 图像生成描述为直接嵌入 ChatGPT 的自回归模型，与基于扩散的 DALL-E 不同。
- 生成对抗网络： 在一次前向传播中生成图像。AttnGAN 等文本条件 GAN 出现在扩散模型之前，采样速度更快，但对复杂提示词的遵循能力较弱。
评估生成的图像#
Fréchet Inception Distance（FID）通过比较生成图像与真实图像的统计特征来衡量质量和多样性；CLIP 分数则衡量图像在共享嵌入空间中与提示词的匹配程度。但这两种指标都不会检查出现了多少个物体或物体位于何处，因此 GenEval会对生成的图像运行目标检测模型，以验证物体是否共同出现、物体位置及数量，并添加其他视觉模型检查颜色。公开评测平台会根据成千上万次人类两两比较的投票，为商业模型和开放模型排名，同时衡量美感和对提示词的遵循程度。
文本生成图像与相关术语的区别#
- 图像描述生成： 方向相反，即为现有图像生成文本描述。
- 文本生成视频： 生成一系列需要保持时间一致性的帧，因此所需计算量和数据量都比文本生成图像模型大得多。
- 图像修复和图生图： 从现有图像开始，根据提示词更改部分或全部内容，并使用同一模型及额外的图像输入。
- 视觉语言模型：读取图像和文本，并以文本作答。GPT-4o 和 Gemini 等原生多模态模型已在图像理解的基础上加入图像生成能力。
应用与风险#
设计师、游戏工作室和营销团队会使用文本生成图像模型探索创意并制作产品图像；视觉团队则会使用这些模型为难以拍摄的稀有类别、缺陷和条件创建合成数据。在 Ultralytics Platform上，生成相似图像操作会根据数据集图像描述受其启发的新场景，并为每条描述生成一张图像；你还可以选择添加有关光照、视角、背景或物体的说明。用户保留的图像会以未标注状态加入数据集，可供标注。只有当合成图像能弥补模型的不足时，它们才有帮助：
同样的逼真效果也带来了风险。模型会复现其训练数据中的偏见，也可能生成逼真的深度伪造内容。服务提供商会采用 Google SynthID 等 AI 水印，并使用 C2PA 内容凭证；这是一种经过签名的元数据，用于记录创建或编辑图像的工具。
