Recurrent Neural Network (RNN)
探索循环神经网络 (RNN) 如何利用记忆处理序列数据。了解 RNN 架构、NLP 应用以及 PyTorch 的实现。
循环神经网络 (RNN) 是一种专门设计用于识别序列数据（如文本、基因组、笔迹或口语）中模式的人工神经网络。与假设所有输入（和输出）彼此独立的传统前馈网络不同，RNN 保留了一种记忆形式。这种内部记忆使它们能够通过对先前信息的理解来处理输入，从而使它们非常适合上下文和时间顺序至关重要的任务。这种架构模拟了人类处理信息的方式——例如，阅读一个句子时，需要记住之前的词语才能理解当前的词语。
Link to this sectionRNN 的工作原理#
RNN 的核心创新在于其循环结构。在标准的前馈网络中，信息仅沿一个方向流动：从输入到输出。相比之下，RNN 具有一个允许信息持续存在的反馈循环。当网络处理一个序列时，它会维护一个“隐藏状态”——一个充当网络短期记忆的向量。在每个时间步，RNN 都会获取当前输入和先前的隐藏状态，以产生输出并更新下一个时间步的隐藏状态。
这种顺序处理能力对于自然语言处理 (NLP) 和时间序列分析至关重要。然而，标准 RNN 由于梯度消失问题，往往难以处理长序列，即随着序列变长，网络会遗忘早期的输入。这一局限性促使了更高级变体的发展，如长短期记忆 (LSTM) 网络和门控循环单元 (GRUs)，它们引入了机制以更好地调节长周期内的信息流。
Link to this section实际应用#
循环神经网络通过使机器能够理解序列数据，改变了许多行业。以下是两个显著的例子：
-
机器翻译：像 Google Translate 这样的服务最初主要依赖于基于 RNN 的架构（特别是序列到序列模型）来将文本从一种语言转换为另一种语言。网络读取整个输入句子（例如英语），并构建一个上下文向量，然后将其用于逐词生成翻译后的输出（例如法语），从而确保语法一致性。
-
预测性输入和自动更正：当你在智能手机上打字时，键盘会建议下一个可能的词。这通常由使用 RNN 训练的语言模型驱动。该模型会分析你已经输入的词序，以预测最可能的下一个词，从而提高用户的速度和准确性。类似的逻辑也适用于将口语音频转录为文本的语音识别系统。
Link to this sectionRNN 与 CNN 和 Transformer 的对比#
将 RNN 与其他主要架构区分开来很有帮助。卷积神经网络 (CNN) 主要设计用于空间数据，如图像，通过处理像素网格来识别形状和物体。例如，Ultralytics YOLO26 使用强大的 CNN 主干网络进行实时目标检测。虽然 CNN 擅长回答“这张图里有什么？”，但 RNN 擅长回答“这段视频接下来会发生什么？”。
最近，Transformer 架构在许多复杂的 NLP 任务中已基本取代了 RNN。Transformer 使用注意力机制来并行处理整个序列，而不是顺序处理。然而，RNN 对于特定的低延迟、资源受限的流式应用仍然非常高效，并且更容易在边缘设备上部署以进行简单的时间序列预测。
Link to this sectionPyTorch 实现示例#
虽然现代计算机视觉任务通常依赖 CNN，但混合模型可以使用 RNN 来分析从视频帧中提取的时间特征。下面是一个简单的、可运行的示例，使用 PyTorch 创建一个基本的 RNN 层来处理数据序列。
import torch
import torch.nn as nn
# Define a basic RNN layer
# input_size: number of features in the input (e.g., 10 features per time step)
# hidden_size: number of features in the hidden state (memory)
# batch_first: input shape will be (batch, seq, feature)
rnn = nn.RNN(input_size=10, hidden_size=20, num_layers=1, batch_first=True)
# Create a dummy input: Batch size 1, Sequence length 5, Features 10
input_seq = torch.randn(1, 5, 10)
# Forward pass through the RNN
# output contains the hidden state for every time step
# hn contains the final hidden state
output, hn = rnn(input_seq)
print(f"Output shape: {output.shape}") # Expected: torch.Size([1, 5, 20])
print(f"Final hidden state shape: {hn.shape}") # Expected: torch.Size([1, 1, 20])Link to this section挑战与未来展望#
尽管 RNN 很有用，但它们面临着计算障碍。顺序处理阻碍了并行化，使得在 GPU 上训练的速度比 Transformer 慢。此外，管理梯度爆炸问题需要仔细的超参数调整以及梯度裁剪等技术。
尽管如此，RNN 仍然是深度学习 (DL) 的基本概念。它们对于理解人工智能 (AI) 的演进不可或缺，并且仍广泛用于物联网传感器的简单异常检测系统中。对于构建复杂流水线的开发者来说——例如将视觉模型与序列预测器相结合——管理数据集和训练工作流至关重要。Ultralytics Platform 简化了这一过程，提供了一系列工具来管理数据并跨各种环境高效部署模型。
