上下文窗口

上下文窗口是机器学习 (ML)中的一个基本概念，指的是模型在处理顺序数据时一次可以考虑的固定信息量。可以将其视为模型的短期记忆。无论数据是文本、股票价格序列还是视频中的帧，上下文窗口都定义了模型可以“看到”多少最近的过去，以了解当前输入并做出准确的预测。这种机制对于上下文是解释关键的任务至关重要，例如在自然语言处理 (NLP)和时间序列分析中。

上下文窗口如何工作？

像循环神经网络 (RNN)，尤其是Transformer这样按顺序处理数据的模型依赖于上下文窗口。当模型分析序列中的一段数据时，它不仅仅是孤立地查看该单个数据点。相反，它会查看该数据点以及特定数量的先前数据点——这组点就是上下文窗口。例如，在语言模型中，为了预测句子中的下一个单词，模型将查看最后几个单词。它考虑的单词数量由其上下文窗口大小决定。这有助于模型捕获对于理解顺序信息至关重要的依赖关系和模式。有关语言模型如何工作的概述，请参见此LLM 简介。

真实世界 AI/ML 应用中的上下文窗口示例

上下文窗口的概念是许多 AI 应用不可或缺的一部分：

• 聊天机器人和虚拟助手: 现代聊天机器人使用上下文窗口来维护对话历史记录。这使它们能够理解后续问题，回顾先前的要点，并提供更自然、连贯的互动，避免重复或不相关的回复。像 Google 的 Gemini 这样的模型利用大型上下文窗口进行复杂的对话。
• 用于金融预测的时间序列分析: 金融模型分析过去股票价格、经济指标或交易量在定义的上下文窗口中的序列，以预测未来的市场走势。金融领域中的 AI 通常依赖于经过精心调整的上下文窗口。
• 预测文本算法（Predictive Text Algorithms）：当您在智能手机上打字时，键盘会根据其上下文窗口中的前导词建议下一个单词，从而提高打字速度和准确性。此功能是小型高效上下文窗口的直接应用。

主要考量因素与相关概念

选择合适的上下文窗口大小需要权衡。较大的窗口可以捕获更多的上下文，并可能提高模型准确性，尤其是在需要长程依赖理解的任务中。然而，它们需要更多的内存和计算能力，可能会减慢训练和推理速度。诸如 Transformer-XL 之类的技术正在开发中，以更有效地处理更长的上下文，详情请参阅卡内基梅隆大学的研究。

区分上下文窗口和相关术语非常有用：

• 感受野: 虽然概念相似（影响输出的输入区域），但感受野通常指的是输入中的空间范围，例如由 卷积神经网络 (CNN) 处理的图像。上下文窗口通常适用于序列数据（文本、时间序列、视频帧）。
• 序列长度： 在许多模型中，特别是Transformer模型，上下文窗口大小直接定义了模型一次可以处理的最大序列长度。更长的序列可能需要被截断或使用专门的架构进行处理。这与序列到序列模型高度相关。

诸如 PyTorch（通过 PyTorch 官方网站）和 TensorFlow（在 TensorFlow 官方网站 上有详细介绍）之类的框架提供了构建模型的工具，其中上下文窗口是一个关键参数。高效的模型部署通常需要优化上下文处理，这可以通过 Ultralytics HUB 等平台进行管理。