Visual Question Answering (VQA)

视觉问答 (VQA) 是一项复杂的人工智能任务，处于计算机视觉 (CV)和自然语言处理 (NLP)的交汇点。与为图像分配单一标签的传统图像分类不同，VQA 系统旨在回答关于图像视觉内容的开放式自然语言问题。例如，给定一张厨房的照片，用户可能会问：“炉子开着吗？”或“碗里有多少个苹果？”为了正确回答，模型必须理解文本的语义，识别场景中的相关对象，并对它们的属性和空间关系进行推理。

这一能力使 VQA 成为现代多模态 AI的基础组件，因为它需要同时处理截然不同的数据类型。该架构通常包含一个视觉编码器（例如卷积神经网络 (CNN)或视觉Transformer (ViT)）来从图像中提取特征，以及一个文本编码器来处理语言查询。先进系统利用注意力机制将文本概念与图像的特定区域对齐，使 AI 能够在生成答案之前“查看”照片的相关部分。

现实世界的应用及其重要性#

动态查询视觉数据的能力已经在各行各业引发了变革性的应用，增强了自动化水平和无障碍体验。

• 辅助技术： VQA 对于支持视力受损个体的应用至关重要。Be My Eyes等工具可以利用 VQA 让用户拍摄周围环境的照片，并提出诸如“这个瓶子是洗发水还是护发素？”或“过马路安全吗？”之类的问题。这通过将视觉信息转换为可听见的答案，促进了更大的独立性。
• 医学诊断： 在医疗保健领域的 AI领域，VQA 系统通过分析医学影像来协助放射科医生。从业者可能会就 X 光片向系统提问，例如：“左上象限是否有骨折的迹象？”美国国家卫生研究院 (NIH)的研究人员已经探索了 VQA，以简化临床决策并减少诊断错误。
• 智能监控： 现代安全系统利用用于安全的 AI来解析数小时的视频片段。操作员无需手动审查，而是可以问：“半夜过后是否有红色卡车进入装货区？”VQA 能够基于特定标准（而不是通用的移动警报）快速进行异常检测。

目标检测在 VQA 中的作用#

虽然某些 VQA 模型经过端到端训练，但许多模型依赖于强大的目标检测主干来首先识别场景元素。准确地定位目标为推理引擎提供了必要的上下文。Ultralytics YOLO26模型凭借其高精度和实时性能，成为这些管道的绝佳基础。

例如，开发者可以使用 YOLO26 提取目标类别和边界框，然后将其输入到大语言模型 (LLM)或专用的推理模块中来回答用户查询。管理用于训练这些检测主干的数据集通常使用Ultralytics 平台来简化，该平台简化了标注和云端训练。

以下 Python 示例演示了如何使用 Ultralytics YOLO26 从图像中提取视觉上下文（对象及其位置），这是 VQA 工作流中的关键第一步：

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Run inference to detect objects, providing context for VQA
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display detected classes (e.g., 'bus', 'person') to verify scene understanding
for result in results:
    result.show()  # Visualize the detections

区分 VQA 与相关概念#

区分 VQA 与相似的视觉语言任务，有助于理解其独特的应用范围。

• VQA 与图像描述：图像描述生成整张图像的通用静态描述（例如，“一只狗在公园里玩耍”）。VQA 是交互式且具体的；它提供针对用户问题的有针对性响应，而不是广泛的摘要。
• VQA 与视觉定位：视觉定位专注于通过在其周围绘制边界框来定位文本短语中提到的特定目标。VQA 通过分析所发现目标的属性、动作或数量来更进一步。
• VQA 与 OCR： 虽然光学字符识别 (OCR)专门用于从图像中提取文本，但 VQA 可能会结合 OCR 来回答诸如“路标上写着什么？”之类的问题。然而，VQA 的主要功能包括超越单纯阅读文本的更广泛场景理解。

研究人员继续使用大规模基准测试（例如VQA 数据集）来推进该领域，这有助于模型在数百万个图像-问题对中进行泛化。随着硬件的改进并实现更快的推理延迟，VQA 对于实时移动和边缘应用变得越来越可行。