Visual Instruction Tuning

探索视觉指令微调如何使视觉语言模型能够遵循人类指令。学习使用 Ultralytics YOLO26 构建先进的 AI 工作流。

视觉指令微调是一种变革性的机器学习技术，它将传统的自然语言处理方法扩展到了多模态领域。通过训练 Vision Language Model (VLM) 来根据图像或视频输入遵循明确的人类指令，开发者可以创建能够理解并推导视觉内容的 AI 助手。与输出预定义类别的标准 image classification 模型不同，视觉指令微调使模型能够执行复杂的开放式任务，例如描述场景、读取图像中的文字或回答有关空间关系的特定问题。这弥合了基于文本的 large language models (LLMs) 与传统 computer vision 流水线之间的差距。

Link to this section理解概念与区别#

为了理解视觉指令微调，将其与 AI 生态系统中的相关概念进行区分会很有帮助：

Instruction Tuning： 通常指对纯文本 LLM 进行对齐，以安全准确地遵循人类意图。视觉指令微调采用了同样的方法，但将图像纳入了提示词和预期输出中。
Visual Prompting： 通常涉及使用视觉线索与 AI 交互，例如在图像上绘制边界框、放置点或遮盖区域，以引导模型的注意力。相比之下，视觉指令微调主要依赖与视觉数据配对的自然语言指令。

训练过程通常涉及使用格式化为图像-文本-指令三元组的大规模数据集对预训练的多模态基础模型进行 fine-tuning。开创性的 arXiv research on visual instruction tuning（例如 LLaVA (Large Language-and-Vision Assistant) 项目）证明了这些模型可以实现卓越的零样本能力。如今，大型 AI 机构采用此技术来驱动高级模型，包括 OpenAI GPT-4o、Anthropic Claude 3.5 Sonnet 和 Google DeepMind Gemini。

Link to this section实际应用#

通过使 multimodal deep learning 架构与人类意图保持一致，视觉指令微调为各行各业解锁了高度交互的应用：

医疗诊断中的 AI： 医疗专业人员可以使用经过指令微调的模型进行视觉问答 (VQA)。放射科医生可以向系统输入一张 X 光片并下达指令：“突出显示并解释左下肺叶的任何肺炎迹象”，从而让 AI 充当协作诊断助手。
制造质量控制中的 AI： 操作员无需从头开始训练僵化的缺陷检测模型，而是可以通过说明来指导视觉系统（例如 Microsoft Florence-2）：“识别这个新制造的金属外壳上的任何微小划痕或凹痕。”

Link to this section构建视觉工作流#

为了构建利用这些能力的系统，开发者通常依赖稳健的 object detection 模型在将数据传递给 VLM 之前提取图像中的结构化上下文。通过使用 PyTorch multi-modal documentation 或 TensorFlow vision models，开发者可以创建混合流水线。

例如，你可以使用 Ultralytics YOLO 模型快速感知场景，并为下游的 VLM 生成一个信息丰富的语言提示：

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

管理这些下一代应用所需的复杂多模态数据集可能具有挑战性。Ultralytics Platform 通过提供用于数据集标注、云端训练和无缝模型部署的端到端工具，简化了这一过程。无论你是在阅读 ACM 数字图书馆还是 IEEE Xplore 计算机视觉档案中的前沿论文，向经过指令微调、功能强大的视觉系统转型都代表了人工智能的最前沿。通过将 YOLO26 感知与微调推理模型相结合，各组织可以部署极其稳健的 AI 代理。