多模式模型

定义

多模态模型是一种人工智能系统，其设计和训练目的是同时处理、理解和关联来自两种或两种以上不同数据模态的信息。常见的模式包括视觉（图像、视频）、听觉（语音、声音）、文本（自然语言处理 - NLP）和其他传感器数据（如激光雷达或温度读数）。其核心理念是信息融合--结合不同数据类型的优势，实现更深入的理解。例如，要完全理解一段视频，需要处理视觉帧、口语对话（音频）以及可能的文字说明或字幕。通过在机器学习（ML）训练过程中学习这些模式之间的相关性和依赖性（通常使用深度学习（DL）技术），这些模型可以形成比单独分析每种模式更丰富、更细致的理解。

相关性和应用

多模态模型的重要性正在迅速增加，因为现实世界的信息本质上是多方面的。人类自然会使用多种感官来感知世界；赋予人工智能类似的能力，可以实现更复杂、更能感知上下文的应用。在理解取决于整合不同数据流的情况下，这些模型至关重要，可提高复杂任务的准确性。

下面是一些具体的应用实例：

• 用于图像理解的视觉语言模型（VLM）： Google的 PaliGemma 2、Microsoft的 Florence-2 和 OpenAI 的CLIP等模型结合了图像和文本数据。它们可以执行图像标题（为图像生成文本描述）或视觉问题解答（VQA）（根据图像内容回答自然语言问题）等任务。
• 自动驾驶系统： Waymo等公司开发的车辆在很大程度上依赖于多模式输入。它们融合来自摄像头（视觉）、激光雷达（深度和形状）、雷达（距离和速度），有时还有音频传感器的数据，以感知环境、预测物体运动并安全导航。这就需要处理不同的数据流以进行实时推理。
• 增强情感分析：通过将文本与音频（语音语调）和视觉线索（面部表情）相结合，可以更准确地分析情感。研究探索了多模态情感分析在客户反馈分析或人机交互中的应用。
• 医学图像分析：将医学扫描（如 X 射线或核磁共振成像）与电子健康记录（文本）相结合，可以做出更准确的诊断。了解更多有关人工智能和放射学进步的信息。

主要概念和区别

了解多模式模型需要熟悉相关概念：

• 多模态学习：这是人工智能的一个子领域，重点是开发用于训练多模态模型的算法和技术。它解决了学术论文中经常讨论的数据对齐和融合策略等难题。
• 基础模型：许多现代基础模型（如GPT-4）本身就是多模式的，能够处理文本和图像。这些大型模型可作为基础，针对特定任务进行微调。
• 大型语言模型（LLM）：虽然相关，但 LLM 传统上侧重于文本处理。多模态模型的范围更广，明确设计用于处理和整合来自不同数据类型的信息，而不仅仅是语言。不过，一些先进的 LLM 已经具备了多模态能力。
• 专业视觉模型：多模态模型不同于专门的计算机视觉（CV）模型，例如 Ultralytics YOLO.GPT-4 等多模态模型可以描述图像（"有一只猫坐在垫子上"），而YOLO 模型则擅长物体检测或实例分割，通过边界框或像素掩码精确定位猫的位置。这些模型可以互补；YOLO 模型可以识别物体的位置，而多模态模型则可以解释场景或回答相关问题。查看不同YOLO 模型之间的比较。
• 转换器架构 注意力就是一切》中介绍的转换器架构是许多成功的多模态模型的基础，它通过注意力机制实现了对不同数据序列的有效处理和整合。

开发和部署这些模型通常需要使用以下框架 PyTorch和 TensorFlowUltralytics HUB等平台可以帮助管理数据集和模型训练工作流，不过 HUB 目前更侧重于视觉特定任务。桥接不同数据类型的能力使多模式模型向更全面的人工智能迈进了一步，有可能为未来的人工通用智能（AGI）做出贡献。