Attention Is All You Need

研究动机与问题背景

在 Transformer 之前，RNN / LSTM / GRU 统治着序列建模领域。它们存在三个根本性缺陷：

• 无法并行计算：RNN 必须按顺序生成隐藏状态 $h_t = f(h_{t-1}, x_t)$，处理第 $t$ 个词必须等待第 $t-1$ 个完成。序列越长，训练越慢。
• 长距离依赖困难：虽然 LSTM 缓解了梯度消失，但在极长序列中信息仍随距离衰减。
• 计算瓶颈：对长文本和高分辨率输入，内存与算力开销巨大。

模型架构与数学建模

Transformer 采用经典的 Encoder-Decoder 结构，但内部组件完全基于注意力机制。

核心超参数

1. Scaled Dot-Product Attention

Transformer 的核心引擎。输入包括查询 ($Q$)、键 ($K$) 和值 ($V$)：

• 点积 $QK^T$：计算 Query 和 Key 的相似度矩阵。
• 缩放 $1/\sqrt{d_k}$：防止点积过大导致 Softmax 进入饱和区，引起梯度消失。
• Masking：Decoder 中将 $QK^T$ 右上三角设为 $-\infty$，防止位置 $i$ 看到未来信息。

2. Multi-Head Attention

单一 Attention 只能关注一个侧面。Multi-Head 机制允许模型在不同子空间中关注不同信息（句法、语义等）：

3. 逐位置前馈网络 (FFN)

每个 Attention 层后接一个全连接前馈网络，应用于每个位置：

实质是两个线性变换中间夹一个 ReLU 激活。内部维度 $d_{ff}=2048$，是 $d_{model}$ 的 4 倍。

4. 位置编码 (Positional Encoding)

没有了 RNN 的时序性，模型必须显式感知"位置"。论文使用正弦 / 余弦函数：

这种编码使得 $PE_{pos+k}$ 可以表示为 $PE_{pos}$ 的线性函数，从而让模型能学习相对位置关系。

实验设置与复现细节

数据集

• WMT 2014 英德翻译 (EN-DE)：450 万句对，BPE 编码，词表约 37k。
• WMT 2014 英法翻译 (EN-FR)：3600 万句对，词表 32k。

训练硬件与时长

注：当时的 SOTA 模型（如 GNMT）需训练数周，Transformer 的效率提升是数量级的。

优化器与正则化

使用 Adam ($\beta_1\!=\!0.9,\;\beta_2\!=\!0.98,\;\epsilon\!=\!10^{-9}$)。学习率调度 (Warmup) 是训练成功的关键：

• Warmup Steps：4000。先线性增加学习率，后按反平方根衰减。
• Residual Dropout：$P_{drop}=0.1$。
• Label Smoothing：$\epsilon_{ls}=0.1$。虽然增加了困惑度，但提升了准确率和 BLEU。

实验结果与核心结论

核心数据

机器翻译性能对比 (WMT 2014)

Transformer (Big) 在英德翻译上超过之前最佳模型（含集成）2.0+ BLEU，训练成本仅为 ConvS2S 的 1/50。

消融实验发现

• 头数：单头最差 (24.9 BLEU)，16 头也会下降，8 头是最佳平衡点。
• Key 维度 $d_k$：减小 $d_k$ 损害质量，说明点积相似度函数可能还不够表达力。
• 模型规模：更大模型效果更好，Dropout 对防止过拟合至关重要。

犀利短评

优点

• 范式转移：彻底证明 RNN 对序列建模并非必须，"Attention Is All You Need" 的标题本身就是宣言。直接催生了 BERT、GPT 等后续工作。
• 计算效率：极大释放了硬件并行计算的潜力，使训练更大规模模型成为可能。
• 可解释性：Attention 分布图提供了查看模型"关注点"的直观窗口。

不足与局限

• $O(n^2)$ 复杂度：Self-Attention 的计算和内存复杂度为序列长度的平方。处理超长文本（如书籍）极其昂贵，催生了后续 Linformer、Flash Attention 等优化工作。
• 位置信息脆弱：仅靠相加的位置编码，对相对位置的捕捉能力是否真正优于 RNN 的内在时序性？后续 RoPE、ALiBi 等对此改进。
• 训练敏感：对学习率预热和初始化非常敏感，不当配置容易梯度爆炸或不收敛。