语言建模

语言建模是人工智能（AI）的一项基本任务，也是自然语言处理（NLP）的核心组成部分。它涉及开发能够预测单词序列可能性的模型。语言模型的核心是从大量文本数据中学习语言的模式、语法和上下文。这使它能够确定某个词在句子中出现的概率。例如，给定短语 "the cat sat on the"，一个训练有素的语言模型会给 "mat "一词分配很高的概率，而给 "potato "分配很低的概率。这种预测能力是许多基于语言的人工智能应用的基础。

语言建模如何运作？

语言建模是机器学习（ML）中的一项任务，通过训练模型来理解和生成人类语言。这一过程首先要向模型提供大量文本数据集，如维基百科的内容或大量书籍。通过分析这些数据，模型可以学习单词之间的统计关系。

现代语言模型在很大程度上依赖于深度学习（DL），通常采用神经网络（NN）架构。在论文"Attention Is All You Need "中介绍的Transformer架构尤其具有革命性意义。它使用一种注意力机制，使模型能够权衡输入文本中不同词语的重要性，从而捕捉复杂的长距离依赖关系，更有效地理解上下文。该模型的训练包括调整其内部模型权重，使其预测结果与训练数据中实际文本序列之间的差异最小化，这一过程采用反向传播法进行优化。

语言建模的现实应用

语言模型的功能使其融入到我们日常使用的众多技术中。

• 预测文本和自动完成：当智能手机键盘在您输入时提示下一个单词时，它使用的是语言模型。通过分析您已经写下的单词序列，它能预测出最有可能出现的单词，从而加快交流速度。这项技术是谷歌 Gboard 等系统的核心功能。
• 机器翻译：谷歌翻译和 DeepL 等服务使用复杂的语言模型在不同语言之间翻译文本。它们不只是进行逐字替换，而是分析源文本的含义和结构，生成语法正确、语境准确的目标语言译文。这是序列到序列模型的一种应用。
• 内容创建和总结：语言模型用于文本生成，可以撰写文章、电子邮件或创意故事。它们还为文本摘要工具提供动力，将冗长的文档浓缩成简明扼要的摘要，也是互动聊天机器人的核心。

相关概念

将语言建模与相关术语区分开来很有帮助：

• 自然语言处理（NLP）：语言建模是 NLP 的一个子领域或核心任务。NLP 是一个更广泛的领域，涉及使计算机能够处理、分析和理解人类的一般语言。查看我们的NLP 概述。
• 大型语言模型 (LLM):这些模型基本上都是非常庞大且功能强大的语言模型，通常使用Transformer架构构建，并在庞大的数据集上进行训练，通常利用大数据原理。例如GPT-4和BERT 等模型。LLM 通常被视为基础模型，斯坦福大学基础模型研究中心 (CRFM) 详细阐述了这一概念。
• 计算机视觉 (CV):语言模型处理文本，而计算机视觉则侧重于使机器能够解释和理解图像和视频中的视觉信息。任务包括物体检测、图像分类和图像分割，通常由Ultralytics YOLO 等模型处理。多模态模型和视觉语言模型可同时处理文本和视觉数据，是这些领域的交叉点。Ultralytics HUB等平台简化了各种人工智能模型（包括用于视觉任务的模型）的训练和部署。您可以探索Ultralytics 支持的各种CV 任务。