语言建模

语言建模是人工智能 (AI)中的一项基本任务，也是自然语言处理 (NLP)的核心组成部分。它涉及开发可以预测单词序列可能性的模型。从本质上讲，语言模型从大量文本数据中学习语言的模式、语法和上下文。这使其能够确定给定单词在句子中下一个出现的概率。例如，给定短语“the cat sat on the”，一个训练有素的语言模型会为单词“mat”分配高概率，而为“potato”分配非常低的概率。这种预测能力是许多基于语言的 AI 应用程序的基础。

语言模型的工作原理是什么？

语言建模是机器学习 (ML)中的一项任务，其中训练模型以理解和生成人类语言。该过程首先将大量文本数据集（例如 Wikipedia 的内容或大量书籍的集合）馈送到模型中。通过分析这些数据，模型学习单词之间的统计关系。

现代语言模型严重依赖于深度学习 (DL)，并且通常使用神经网络 (NN)架构构建。 在论文“Attention Is All You Need”中介绍的Transformer架构尤其具有革命性。 它使用注意力机制，使模型能够权衡输入文本中不同单词的重要性，从而更有效地捕获复杂的长程依赖关系并理解上下文。 模型的训练包括调整其内部模型权重，以最大限度地减少其预测与训练数据中实际文本序列之间的差异，此过程使用反向传播进行优化。

语言建模的实际应用

语言模型的功能已使其集成到我们日常使用的众多技术中。

• 预测文本和自动完成：当您的智能手机键盘在您键入时建议下一个单词时，它使用的是语言模型。通过分析您已经写过的单词序列，它可以预测最有可能跟随的单词，从而加快通信速度。这项技术是像Google 的 Gboard这样的系统的核心功能。
• 机器翻译：诸如 Google 翻译和 DeepL 之类的服务使用复杂的语言模型来翻译语言之间的文本。它们不仅仅执行逐字替换；相反，它们分析源文本的含义和结构，以生成目标语言中语法正确且在上下文中准确的翻译。这是序列到序列模型的一个应用。
• 内容创作与摘要：语言模型用于文本生成，它们可以撰写文章、电子邮件或创意故事。它们还为文本摘要工具提供支持，这些工具将长篇文档浓缩成简洁的摘要，并且是交互式聊天机器人的核心。

相关概念

区分语言建模和相关术语会很有帮助：

• 自然语言处理 (NLP)： 语言建模是 NLP 中的一个子领域或核心任务。NLP 是一个更广泛的领域，致力于使计算机能够处理、分析和理解人类语言。请查看我们的 NLP 概述。
• 大型语言模型（LLM）：这些本质上是非常庞大且功能强大的语言模型，通常使用 Transformer 架构构建，并在海量数据集上进行训练，通常利用 大数据 原则。示例包括 GPT-4 和 BERT 等模型。LLM 通常被认为是 基础模型，这是 斯坦福大学基础模型研究中心（CRFM） 详细介绍的一个概念。
• 计算机视觉 (CV)：虽然语言模型处理文本，但 CV 侧重于使机器能够解释和理解来自图像和视频的视觉信息。任务包括目标检测、图像分类和图像分割，通常由 Ultralytics YOLO 等模型处理。这些领域的交叉点在多模态模型和视觉语言模型中进行了探索，它们处理文本和视觉数据。Ultralytics HUB 等平台简化了各种 AI 模型的训练和部署，包括用于视觉任务的模型。您可以探索 Ultralytics 支持的各种 CV 任务。