循环神经网络 (RNN)

循环神经网络 (RNN) 是一种神经网络 (NN)，专门设计用于处理顺序数据，其中信息的顺序至关重要。与独立处理输入的标准前馈网络不同，RNN 具有内部存储器（通常称为隐藏状态），使其能够保留序列中先前输入的信息。这种“记忆”是通过一种循环机制实现的，其中一个步骤的输出作为输入反馈到下一步，使网络能够建立上下文并理解随时间的依赖关系。这使得它们对于涉及文本、语音或时间序列数据等序列的任务非常有效。

循环神经网络 (RNN) 如何工作？

RNN背后的核心思想是其循环特性。在处理序列（如句子中的单词）时，网络获取第一个项目，执行计算并生成输出。对于第二个项目，它会同时考虑新输入和从第一个项目中学到的信息。这个过程，被称为时间反向传播（BPTT），会持续整个序列，从而使模型能够构建上下文理解。这种结构是许多自然语言处理（NLP）和时间序列分析任务的基础。

实际应用

RNN 在人工智能 (AI)的多个领域中奠定了基础。

1. 自然语言处理 (NLP)： RNN 擅长理解人类语言的结构。它们用于：

   • 机器翻译: Google 翻译 等服务过去曾使用基于 RNN 的模型来翻译文本，通过按顺序处理单词来保留含义和语法。
   • 情感分析: RNN 可以分析一段文本（如产品评论），通过理解单词序列提供的上下文来确定情感是正面、负面还是中性。
   • 语音识别: 虚拟助手使用RNN将口语转换为文本，通过将音频信号作为随时间变化的序列进行处理。

2. 时间序列预测： RNN 非常适合根据历史数据进行预测。

   • 金融预测： 它们可以用于分析股票市场数据以预测未来的价格走势，尽管这仍然是一个非常复杂的挑战。
   • 天气预测： 通过将历史天气模式分析为时间序列，RNN可以帮助预测未来的状况。美国国家大气研究中心等组织正在进行这方面的进一步研究。

挑战与现代替代方案

尽管简单RNN具有优势，但它们面临着一个被称为梯度消失问题的重大挑战。这使得它们难以学习序列中相距较远的元素之间的依赖关系。为了解决这个问题，开发了更高级的架构。

• 长短期记忆 (LSTM): 一种特殊类型的 RNN，具有更复杂的内部结构，包括控制要记住或忘记哪些信息的“门”。这使它们能够有效地学习长距离依赖关系。Christopher Olah 的博客文章对 LSTM 提供了极好的解释。
• 门控循环单元（GRU）： LSTM的一个简化版本，它组合了某些门。GRU在计算上更有效率，并且在许多任务上表现相当，使其成为一种流行的替代方案。
• Transformer: 这种架构在论文“Attention Is All You Need”中被提出，已在很大程度上取代了最先进的NLP模型中的RNN。它没有使用递归，而是使用注意力机制同时处理序列中的所有元素，从而能够更有效地捕获远程依赖关系，并在训练期间实现更大的并行化。
• 卷积神经网络（CNN）: 虽然 RNN 专为序列数据而设计，但 CNN 是为诸如图像之类的网格状数据而构建的。 它们擅长检测空间层次结构，并且是计算机视觉（CV）任务的基础。 诸如 Ultralytics YOLO 之类的模型使用基于 CNN 的架构进行目标检测和图像分割。

深度学习框架（如 PyTorch 和 TensorFlow）提供了用于 RNN 及其变体的预构建模块，从而使构建这些模型变得更加容易。您可以使用 Ultralytics HUB 等平台来管理从训练到部署的整个模型生命周期。