Deep Residual Learning
for Image Recognition

研究动机与问题背景

深度卷积神经网络带来了图像分类领域的系列突破。网络深度自然地整合了低/中/高级特征，因此一个直觉的问题浮现：学习更好的网络是否就像堆叠更多层一样简单？

存在的痛点与局限

• 梯度消失 / 爆炸：早年阻碍深度网络收敛的"元凶"。但通过标准化初始化和批归一化 (BN)，几十层的网络已经可以正常收敛。
• 退化问题 (Degradation)：本文揭示了一个违反直觉的现象——当更深的网络开始收敛时，随着深度增加，准确率达到饱和后迅速退化。这种退化不是由过拟合引起的，而是更高的训练误差。

核心逻辑

设想一个较浅的架构及其深层对应版本。理论上，深层模型存在一个构造性解：将增加的层设为恒等映射，其他层复制浅层模型。深层模型的训练误差理论上不应高于浅层模型，但目前的求解器无法找到这样的解。

数学表示与建模

本文没有改进求解器（如 SGD），而是对网络层的数学表征进行了重构。

残差学习的数学形式化

假设几个堆叠层需要拟合的底层映射为 $\mathcal{H}(x)$。如果非线性层可以逼近复杂函数，那么它们等价地也能逼近残差函数 $\mathcal{H}(x) - x$。作者让堆叠层显式逼近残差函数：

$$ \mathcal{F}(x) := \mathcal{H}(x) - x $$

原始映射变为：

$$ \mathcal{H}(x) = \mathcal{F}(x) + x $$

直觉：如果最优函数接近恒等映射，将权重推向零（逼近残差零向量）比用非线性层从头学习恒等映射容易得多。

快捷连接与公式定义

$\mathcal{F}(x) + x$ 通过前馈网络中的"快捷连接 (Shortcut Connections)"实现。构建块定义：

$$ y = \mathcal{F}(x, \{W_{i}\}) + x $$

其中 $\mathcal{F} = W_{2}\sigma(W_{1}x)$，$\sigma$ 为 ReLU。维度不匹配时，通过 $1\times1$ 卷积做线性投影：

$$ y = \mathcal{F}(x, \{W_{i}\}) + W_{s}x $$

实验设置与复现细节

作者在多个任务上进行了详尽的评测。以下是核心复现参数。

实验任务与数据集

• ImageNet 2012：1.28M 训练集，50k 验证集，100k 测试集，1000 分类。Top-1 / Top-5 Error。
• CIFAR-10：50k 训练，10k 测试，10 分类，$32\times32$ 图片。
• 目标检测 (COCO & PASCAL VOC)：使用 Faster R-CNN，验证特征的泛化能力。

训练实现细节 (ImageNet)

测试：对比实验使用 10-crop testing；最佳结果采用多尺度全卷积测试（短边 $\{224, 256, 384, 480, 640\}$ 取平均）。

实验结果与核心结论

退化问题的破解

对比 18 层与 34 层的 Plain / Residual 网络（所有 shortcut 均采用 zero-padding 补齐维度）：

核心数据

目标检测的巨大飞跃

在不修改检测算法 (Faster R-CNN) 的情况下，仅将 VGG-16 替换为 ResNet-101：

• mAP@[.5, .95] 从 21.2% 提升至 27.2%，绝对提升 6.0%，相对提升 28%。
• 证明深层特征极大改善了识别与定位精度。

犀利短评

优点

• 大道至简的工程美学：$y = \mathcal{F}(x) + x$ 是深度学习史上最伟大的设计之一。无额外参数、无额外计算、一行代码实现，极度优雅。
• 范式转移：打破了学术界对网络深度的"心理恐惧"。从此 100+ 层成为标配，启迪了 Transformer (Skip Connection)、DenseNet 等现象级工作。

不足与疑问

• 理论论证的缺失：主要为经验驱动，没有从优化动力学层面解释为什么残差改善了梯度流动。后续的 loss landscape 分析、ODE 视角才补齐了理论拼图。
• 极深网络的极限：在 CIFAR-10 上 1202 层网络的训练误差 $<0.1\%$，但测试误差反而高于 110 层，说明参数冗余导致的过拟合仍然是挑战。论文未给出正则化方案（如后来的 Stochastic Depth）。