残差网络（ResNet）

残差网络（Residual Networks）俗称 ResNet，是一种开创性的神经网络（NN）架构，对深度学习领域产生了深远影响。ResNet 由何开明等人在 2015 年的论文《图像识别的深度残差学习》中提出，它使有效训练具有数百甚至数千层的极深神经网络成为可能。这是通过引入带有 "跳过连接 "的 "残差块 "实现的，这一简单而强大的概念可以缓解梯度消失问题，而这一问题通常会困扰极深的网络。

ResNet 如何工作

ResNet 的核心创新在于使用跳转连接或捷径。在传统的卷积神经网络（CNN）中，每一层的输出都会依次直接馈送到下一层。随着网络越来越深，网络学习和梯度在训练过程中回传的难度也越来越大。这可能导致增加层数实际上会降低模型的性能。

ResNet 允许将一个层（或一个层块）的输入添加到其输出，从而解决了这一问题。这种跳转连接为梯度流创造了另一条路径，确保即使是非常深的网络也能得到有效训练。这种结构允许网络学习残差函数--基本上，各层只需要学习输入的变化或残差，而不是整个变换。如果某个层没有益处，网络可以很容易地学习忽略它，将其权重趋向于零，让身份映射通过跳过连接传递。

ResNet 与其他架构的比较

• 标准 CNN：与标准的顺序 CNN 不同，ResNets 借助残差学习，可以在不降低性能的情况下更深入地学习。这种深度可以让它们学习更复杂的特征，并在具有挑战性的任务中实现更高的准确性。
• U-Net虽然U-Net也使用跳转连接，但其目的不同。在 U-Net 中，跳转连接将各层从下采样路径连接到上采样路径，以恢复空间信息，实现精确的图像分割。而在 ResNet 中，连接通常较短，旨在改善梯度流并实现更深层次的架构。

实际应用

ResNet 强大的特征提取能力使其成为许多复杂计算机视觉任务的基础选择。

• 医学图像分析：在医疗保健领域的人工智能中，ResNet 架构可用于分析 X 射线、CT 和 MRI 等医学扫描图像。例如，基于 ResNet 的模型可以在脑部扫描数据集上进行训练，帮助放射科医生进行早期肿瘤检测，提高诊断的准确性和速度。
• 自动驾驶：自动驾驶汽车系统依赖于强大的骨干网来实现实时感知。ResNet 通常用于处理摄像头输入，以进行物体检测、识别行人、车辆和交通标志，这对于Waymo 等公司开发的安全导航系统至关重要。

工具和实施

ResNet 架构已在PyTorch和TensorFlow 等主要深度学习框架中广泛实施。预先训练好的模型通常是在大规模ImageNet数据集上训练好的，可通过torchvision 等库随时获取，这有助于为定制应用提供有效的迁移学习。Ultralytics HUB等平台使用户能够利用各种架构（包括基于 ResNet 的模型）来训练满足其特定需求的定制模型。虽然 ResNet 树立了强大的性能基线，但后来又开发出了EfficientNet等更新的架构，以提供更高的效率。您可以在斯坦福大学的 CS231n 课程或DeepLearning.AI 等提供商的课程中找到更多有关 CNN 的教育资源。