多模态 AI

多模态 AI 指的是 人工智能 (AI) 的一个领域，其中系统被设计为处理、理解和推理来自多种数据类型（称为模态）的信息。与通常专注于单一数据类型（例如，仅文本或仅图像）的传统 AI 系统不同，多模态 AI 集成和解释各种数据源，例如文本、图像、音频、视频，甚至传感器数据。这种方法使 AI 能够获得更全面和更像人类一样对世界的理解，就像人类如何一起使用视觉、听觉和语言来感知周围环境一样。该领域的核心挑战不仅仅是处理每种模态，而是有效地将它们组合起来以创建统一且上下文丰富的解释。

多模态人工智能的工作原理

开发多模态AI系统涉及几个关键步骤。首先，模型必须为每种数据类型创建有意义的数值表示，这个过程通常涉及创建嵌入（embeddings）。例如，文本输入由语言模型处理，图像由计算机视觉（CV）模型处理。下一个关键步骤是融合，即将这些不同的表示组合在一起。实现融合的技术范围很广，从简单的连接到更复杂的方法，包括注意力机制，注意力机制允许模型权衡不同模态对于给定任务的重要性。

在有影响力的论文“Attention Is All You Need”中介绍的Transformer架构一直是现代多模态系统成功的关键。它处理顺序数据和捕获长程依赖关系的能力使其对于集成来自不同来源的信息非常有效。PyTorch和TensorFlow等领先框架提供了构建和训练这些复杂模型所需的工具。

实际应用

多模态 AI 正在为新一代更通用、更直观的智能应用提供支持。

1. 视觉问答 (VQA)：在 VQA 系统中，用户可以提供一张图像，并用自然语言提问，例如“街上的汽车是什么颜色？”。人工智能必须理解文本，分析视觉信息，并生成相关的答案。这项技术用于为视障人士创建辅助工具，并增强互动学习平台。

2. 文本到图像生成: 诸如OpenAI的DALL-E 3和Stability AI的Stable Diffusion等平台是多模态AI的突出例子。它们接受文本描述（提示）并生成相应的图像。这要求模型对语言概念如何转化为视觉属性有深刻的理解，从而实现新的数字艺术和内容创作形式。

多模态 AI 与相关概念

区分多模态 AI 与类似术语非常重要：

• 多模态模型: 多模态 AI 是一个广泛的研究领域，而多模态模型是使用多模态 AI 原则创建的特定系统或架构（例如，具有视觉功能的 GPT-4）。
• 多模态学习: 这是指机器学习 (ML)的一个子领域，专注于用于训练多模态模型的算法和方法。它是使多模态 AI 成为可能的技术学科。
• 大型语言模型 (LLM): 虽然传统的 LLM 是单模态的（仅文本），但许多现代基础模型现在是多模态的，将文本与其他数据类型集成在一起。这些高级系统通常被称为视觉语言模型 (VLM)。
• 专用视觉模型： 多模态系统可以描述图像（“一只狗正在接飞盘”），但像 Ultralytics YOLO 这样的专用模型擅长精确、高速的任务，例如 目标检测，使用精确的 边界框 定位狗和飞盘。这些模型是互补的；YOLO 提供“什么”和“哪里”，而多模态 AI 可以添加“如何”和“为什么”。您可以探索 不同目标检测模型的比较，以了解它们的具体优势。

专业和多模态模型的开发和部署可以使用 Ultralytics HUB 等平台进行管理，从而简化机器学习工作流程。多模态 AI 的进步是朝着创建更强大、更具适应性的 AI 迈出的重要一步，可能为 通用人工智能 (AGI) 铺平道路，正如 Google DeepMind 等机构所研究的那样。