循环神经网络 (RNN)

一个 循环神经网络 (RNN) 是一种 人工神经网络，专门设计用于识别序列数据中的模式，例如文本、基因组、手写或口语。与假设所有输入（和输出）彼此独立的传统前馈网络不同，RNN保留了一种记忆形式。这种内部记忆使它们能够理解先前的信息来处理输入，使其独特地适用于上下文和时间顺序至关重要的任务。这种架构模仿了人类处理信息的方式——例如，阅读一个句子需要记住前面的词语才能理解当前的词语。

RNN 的工作原理

RNN 的核心创新在于其循环结构。在标准的前馈网络中，信息仅沿一个方向流动：从输入到输出。相比之下，RNN 具有一个反馈循环，允许信息持续存在。当网络处理序列时，它会维护一个“隐藏状态”——一个充当网络短期记忆的向量。在每个时间步，RNN 都会接收当前输入和先前的隐藏状态，以生成输出并更新下一个时间步的隐藏状态。

这种序列处理能力对于自然语言处理 (NLP)和时间序列分析至关重要。然而，由于梯度消失问题，标准 RNN 在处理长序列时常常遇到困难，即随着序列增长，网络会遗忘较早的输入。这一局限性促使了更高级变体的开发，例如长短期记忆 (LSTM)网络和门控循环单元 (GRU)，它们引入了机制以更好地调节长时间的信息流。

实际应用

循环神经网络通过使机器能够理解序列数据，改变了许多行业。以下是两个突出示例：

1. 机器翻译：像Google Translate这样的服务最初严重依赖于基于RNN的架构（特别是序列到序列模型）来将文本从一种语言转换为另一种语言。网络读取整个输入句子（例如，English）并构建一个上下文向量，然后使用该向量逐词生成翻译输出（例如，法语），确保语法一致性。
2. 预测输入和自动更正：当您在智能手机上打字时，键盘会建议下一个可能的词。这通常由使用RNN训练的语言模型提供支持。该模型分析您已输入的词序列，以预测最有可能的下一个词，从而提高用户输入速度和准确性。类似的逻辑也适用于语音识别系统，这些系统将语音转录为文本。

RNN 与 CNN 和 Transformer 的比较

区分 RNN 与其他主要架构很有帮助。 卷积神经网络 (CNN) 主要设计用于处理空间数据，例如图像，通过处理像素网格来识别形状和物体。例如，Ultralytics YOLO26 使用强大的 CNN 骨干网络进行实时目标检测。CNN 擅长回答“这张图片里有什么？”，而 RNN 则擅长回答“这段视频接下来会发生什么？”。

最近，Transformer 架构在许多复杂的 NLP 任务中已在很大程度上取代了 RNN。Transformer 使用注意力机制并行而非顺序地处理整个序列。然而，RNN 对于特定的低延迟、资源受限的流媒体应用仍然非常高效，并且更易于在边缘设备上部署以进行简单的时间序列预测。

PyTorch 实现示例

虽然现代计算机视觉任务通常依赖于CNN，但混合模型可能会使用RNN来分析从视频帧中提取的时间特征。下面是一个使用 PyTorch创建基本RNN层以处理数据序列的简单可运行示例。

import torch
import torch.nn as nn

# Define a basic RNN layer
# input_size: number of features in the input (e.g., 10 features per time step)
# hidden_size: number of features in the hidden state (memory)
# batch_first: input shape will be (batch, seq, feature)
rnn = nn.RNN(input_size=10, hidden_size=20, num_layers=1, batch_first=True)

# Create a dummy input: Batch size 1, Sequence length 5, Features 10
input_seq = torch.randn(1, 5, 10)

# Forward pass through the RNN
# output contains the hidden state for every time step
# hn contains the final hidden state
output, hn = rnn(input_seq)

print(f"Output shape: {output.shape}")  # Expected: torch.Size([1, 5, 20])
print(f"Final hidden state shape: {hn.shape}")  # Expected: torch.Size([1, 1, 20])

挑战与未来展望

尽管 RNN 具有实用性，但它们面临计算障碍。顺序处理抑制了并行化，使得在GPU上训练比 Transformer 慢。此外，管理梯度爆炸问题需要仔细的超参数调优和梯度裁剪等技术。

尽管如此，RNN 仍然是深度学习 (DL)中的一个基本概念。它们对于理解人工智能 (AI)的发展至关重要，并且仍广泛用于物联网传感器的简单异常检测系统。对于构建复杂管道（例如将视觉模型与序列预测器结合）的开发人员来说，管理数据集和训练工作流至关重要。Ultralytics 平台简化了这一过程，提供了工具来高效管理数据并在各种环境中部署模型。