残差网络 (ResNet)

残差网络，通常称为 ResNet，是一种开创性的 神经网络 (NN) 架构，对 深度学习 领域产生了深远的影响。ResNet 由 Kaiming He 等人在其 2015 年的论文“用于图像识别的深度残差学习”中提出，它使有效训练极深的神经网络（具有数百甚至数千层）成为可能。这是通过引入带有“跳跃连接”的“残差块”来实现的，这是一个简单而强大的概念，可以缓解通常困扰非常深网络的梯度消失问题。

ResNet 如何工作

ResNet的核心创新是使用跳跃连接或快捷方式。在传统的卷积神经网络（CNN）中，每一层都将其输出直接馈送到序列中的下一层。随着网络变得更深，网络越来越难以学习，并且梯度在训练期间反向传播。这可能导致一种情况，即添加更多层实际上会降低模型的性能。

ResNet 通过允许将某一层的输入（或某一组层的输入）添加到其输出来解决这个问题。这种跳跃连接为梯度流动创建了一条替代路径，确保即使是非常深的网络也能有效地进行训练。这种结构允许网络学习残差函数——本质上，各层只需要学习来自输入的变化或残差，而不是整个转换。如果某一层没有益处，网络可以很容易地通过将其权重驱动到零来忽略它，从而允许恒等映射通过跳跃连接传递。

ResNet 与其他架构的比较

• 标准 CNN：与标准顺序 CNN 不同，由于残差学习，ResNet 可以变得更深而不会损失性能。这种深度使它们能够学习更复杂的特征，并在具有挑战性的任务上实现更高的准确率。
• U-Net: 虽然 U-Net 也使用跳跃连接，但其目的是不同的。在 U-Net 中，跳跃连接将来自下采样路径的层链接到上采样路径，以恢复空间信息以实现精确的图像分割。在 ResNet 中，连接通常更短，旨在改善梯度流并支持更深的架构。

实际应用

ResNet 强大的特征提取能力使其成为许多复杂计算机视觉任务中常用的骨干网络。

• 医学影像分析：在医疗保健领域的人工智能应用中，ResNet 架构用于分析医学扫描，如 X 射线、CT 和 MRI。例如，可以在脑部扫描数据集上训练基于 ResNet 的模型，以帮助放射科医生进行早期肿瘤检测，从而提高诊断准确性和速度。
• 自动驾驶：自动驾驶汽车中的系统依赖于强大的骨干网络来实现实时感知。ResNet 通常用于处理摄像头输入以进行目标检测，识别行人、车辆和交通标志，这对于像 Waymo 这样的公司开发的安全导航系统至关重要。

工具与实现

ResNet 架构已广泛应用于主要的深度学习框架中，如 PyTorch 和 TensorFlow。预训练模型（通常在大型 ImageNet 数据集上训练）可以通过诸如 torchvision 等库轻松获得，从而有助于为自定义应用实现有效的迁移学习。诸如 Ultralytics HUB 等平台使用户能够利用各种架构（包括基于 ResNet 的模型）来训练自定义模型，以满足其特定需求。虽然 ResNet 建立了一个强大的性能基线，但此后开发了诸如 EfficientNet 等较新的架构，以提供更好的效率。您可以在斯坦福大学的 CS231n 课程或通过 DeepLearning.AI 等提供商的课程中找到更多关于 CNN 的教育资源。