Image Captioning

了解图像描述如何使用视觉语言模型生成图像描述，探索实际应用，并使用 Ultralytics YOLO26 将描述落地。

图像描述生成（Image Captioning）是一项自动生成图像自然语言描述的 AI 任务。例如，给定一张街景照片，系统可能会输出：“一辆城市公交车正驶过十字路口的行人。”该任务将视觉感知与语言生成结合在一起，因此模型必须识别重要内容、理解对象之间的关系，并清晰地表达这些信息。

描述生成通常由视觉语言模型执行，它能够跨视觉和文本数据进行工作。与人工编写的照片描述不同，AI 生成的描述是基于从图像-文本对中学习到的模式做出的预测。

图像描述生成的工作原理#

图像描述生成系统通常包含两个相连的阶段：

视觉编码器将像素转换为特征表示，用以描述对象、纹理、位置以及更广泛的场景信息。
语言解码器将这些视觉特征转化为一系列单词。

许多系统使用 transformer 解码器。它从一个起始 token 开始，预测下一个 token，将其添加到序列中，并重复此过程，直到生成结束 token 或达到长度限制。Google Machine Learning Glossary 将这种逐 token 的过程描述为自回归生成。

注意力机制有助于解码器在选择每个词时聚焦于相关的图像区域。在生成“公交车”时，它可能会强调车辆；而在生成“街道”时，它可能会关注周围的道路。TensorFlow 图像描述教程演示了图像特征、分词、交叉注意力和文本解码器是如何结合在一起的。

训练通常需要将图像与一个或多个由人工编写的描述配对。多个描述非常有用，因为同一幅图像可以用不同的方式正确描述，例如“一个正在和狗玩耍的小孩”和“一个年轻人为宠物扔球”。

与相关视觉任务的区别#

图像描述生成与多个 AI 任务重叠，但会产生独特的输出：

图像分类为整张图像分配一个或多个标签，例如“海滩”。描述生成则会产生一个可能描述对象、动作、属性和上下文的句子。
**目标检测**通过边界框识别并定位预定义的目标。描述生成可以提及这些目标，但还会描述它们之间的关系，例如“两名骑自行车的人骑在一辆汽车旁边”。
**光学字符识别**从标志、文档或包装中提取可见的文字。描述总结的是场景，而不是转录所有文本。
**视觉问答**回答关于图像的具体问题。描述生成则无需问题即可创建通用描述。
**替代文本（Alt text）**在特定上下文中传达图像的用途。自动化描述可以提供草稿，但它不能自动充当合适的替代文本，因为根据 W3C Images Tutorial，装饰性、功能性和复杂的图像需要不同的处理方式。

实际应用#

**无障碍网页内容：**发布平台可以为新上传的照片生成草稿描述。对于新闻图片，描述可能会在编辑检查其准确性和相关性之前，识别出主要人物、背景和动作。复杂的图表仍然需要结构化的长描述，而不是通用的视觉摘要。
**可搜索的媒体库：**零售商或媒体公司可以为庞大的图像集合生成描述并对生成的文本进行索引。这样，用户即使在文件从未被手动打标签的情况下，也可以搜索诸如“帐篷旁的红色背包”之类的短语。描述可以补充视觉嵌入和元数据，从而改善大型目录中的检索。

使用 Ultralytics YOLO 进行实际落地#

描述生成器可能会捏造不受支持的细节，特别是在拥挤或不熟悉的场景中。一种实用的设计是将生成过程与来自 Ultralytics YOLO26 的结构化观测结果相结合。以下记录的 YOLO 预测工作流提取了检测到的目标名称，下游语言组件可以将其用作视觉上下文：

from ultralytics import YOLO

# Detect objects that can ground a downstream caption generator
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact textual context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

此工作流不会生成最终的描述。相反，它提供可验证的目标标签，以约束语言模型。对于自定义领域，Ultralytics Platform 支持云端数据集标注、训练、部署以及针对描述生成流水线中感知组件的监控。