BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

在 BERT 提出之前，NLP 领域已经证明了“预训练语言模型（Pre-training）”对提升下游任务性能极其有效。然而，当时的预训练技术存在一个致命的架构限制。

🔍 现有方法的局限性

将预训练语言表示应用到下游任务，主要有两条路线，它们各自带有痛点：

• Feature-based（基于特征的方法，如 ELMo）：使用极其复杂的任务特定架构，将预训练的表示作为额外特征输入。虽然 ELMo 提取了上下文特征，但它仅仅是分别独立训练了“从左到右”和“从右到左”两个单向 LSTM，然后在最顶层进行浅层拼接（Shallow Concatenation），这并非真正的深度双向。
• Fine-tuning（微调方法，如 OpenAI GPT）：在预训练网络上直接微调，引入最少的任务特定参数。然而，标准语言模型（Standard LM）是单向的（自左向右）。例如 GPT 在自注意力机制中，每个 token 只能看到它左侧的上下文。

🎯 本文试图解决的核心问题

对于句子级别的分类任务，单向模型可能勉强够用。但对于Token 级别任务（如 SQuAD 阅读理解/问答），理解一个词不仅需要知道它前面说了什么，更需要知道它后面说了什么。单向限制对这类任务是非常有害的。

本文的 Significance（重要性）：打破了“语言模型必须从左到右预测”的刻板印象。通过引入 Masked Language Model (MLM) 和 Next Sentence Prediction (NSP) 两个无监督预训练任务，赋予了 Transformer Encoder 强大的深度双向上下文感知能力，开启了 NLP 的“预训练-微调”大一统时代。

BERT 的模型架构完全基于 Vaswani 等人 2017 年提出的原始 Transformer Encoder。其优雅之处在于：从预训练到微调，整个架构保持高度一致，几乎不需要改动结构。

1. 统一的输入表示 (Input Representation)

为了使 BERT 能够处理各种任务，输入序列被设计为可以包含“单句子”或“句子对”（如：问题-答案对）。每个输入 token 的最终表示由三个 Embedding 相加构成：

• Token Embeddings ($E_{\text{token}}$): 使用 WordPiece 词表（包含 30,000 个 token）。序列开头强制插入特殊 token [CLS]。句子之间用特殊 token [SEP] 分隔。
• Segment Embeddings ($E_{\text{segment}}$): 用来区分该 token 属于第一句话（Sentence A）还是第二句话（Sentence B）。
• Position Embeddings ($E_{\text{position}}$): 标准学习到的位置编码，支持最大长度为 512。

设 $T_i \in \mathbb{R}^H$ 为第 $i$ 个 token 的最终隐藏层输出，$C \in \mathbb{R}^H$ 为特殊标记 [CLS] 的最终隐藏层输出（作为整个序列的聚合表示）。

2. 预训练任务 (Pre-training Tasks)

Task #1: Masked LM (MLM)

为了训练双向表示，论文随机选取输入中 15% 的 token 进行遮蔽（Masking），然后让模型预测这些被遮蔽的 token（类似于完形填空）。损失函数为预测原词表 ID 的交叉熵。
为了解决预训练和微调阶段的不匹配问题（微调时并没有 [MASK] 这个 token），作者使用了一个极具巧思的 80-10-10 策略。如果第 $i$ 个词被选中（在 15% 之中），它会被替换为：

• 80% 的概率：替换为 [MASK]（如: my dog is hairy -> my dog is [MASK]）
• 10% 的概率：替换为一个随机单词（如: my dog is hairy -> my dog is apple）
• 10% 的概率：保持原词不变（如: my dog is hairy -> my dog is hairy），以此强迫模型建立起针对实际输入单词的正确表征。

Task #2: Next Sentence Prediction (NSP)

很多下游任务（如问答、推理）依赖理解两个句子之间的关系。在构建预训练样本时，有 50% 的情况句子 B 是句子 A 的真实下一句（标签为 IsNext），另 50% 的情况句子 B 是从语料库中随机抽取的无关句子（标签为 NotNext）。模型利用 [CLS] 的特征向量 $C$ 来进行二分类预测。

3. 微调流程 (Fine-tuning)

微调非常简单，只需根据任务类型，将特定任务的输入输出插入 BERT 即可：

• 对于句子级分类（如 NLI、情感分析）：将 [CLS] 的最终输出 $C$ 送入新加的全连接层进行分类，分类层权重为 $W \in \mathbb{R}^{K \times H}$（$K$ 为类别数）。通过计算标准的分类损失进行整体微调：
  $$\mathcal{L} = -\log(\text{softmax}(CW^T))$$
• 对于 Token 级分类（如 SQuAD 阅读理解）：引入一个 Start 向量 $S \in \mathbb{R}^H$ 和一个 End 向量 $E \in \mathbb{R}^H$。段落中第 $i$ 个词作为答案起始位置的概率计算为：
  $$P_i = \frac{e^{S \cdot T_i}}{\sum_j e^{S \cdot T_j}}$$
  结束位置同理。整个答案区间的得分为 $S \cdot T_i + E \cdot T_j$。

预训练数据集

• 使用了文档级别的语料库以提取长序列：BooksCorpus (约 8 亿词) 和 English Wikipedia (约 25 亿词，去除了列表、表格和标题)。
• 避免使用打乱顺序的句子级语料（如 Billion Word Benchmark），因为无法满足 NSP 任务的训练需要。

预训练超参数 (Pre-training)

• Batch Size: 256 个 sequence（每个 sequence 长 512 token），即每 batch 128,000 个 token。
• 训练步数: 1,000,000 步（约在 33 亿词的语料上过 40 个 Epoch）。
• 优化器: Adam，学习率 $\text{lr} = 1\text{e-}4$，$\beta_1 = 0.9$，$\beta_2 = 0.999$，L2 Weight Decay = 0.01。
• 学习率调度: 前 10,000 步线性 warmup，之后线性衰减。
• 激活函数与 Dropout: 使用 GELU 激活函数；所有层 Dropout 率设为 0.1。
• 硬件: $\text{BERT}_{\text{BASE}}$ 使用 4 个 Cloud TPU (16 芯片)，$\text{BERT}_{\text{LARGE}}$ 使用 16 个 Cloud TPU (64 芯片)。每次预训练历时约 4 天。

微调超参数 (Fine-tuning)

微调非常迅速，单块 TPU 最多 1 小时即可完成大部分任务。作者推荐对以下参数进行网格搜索：

• Batch size: 16 或 32
• Learning rate (Adam): 5e-5, 3e-5, 2e-5
• Epochs: 2, 3, 4 (由于下游任务在微调时很容易过拟合，通常只需 2-4 个 epoch)

1. GLUE Benchmark 结果 (11 个任务的全面胜利)

GLUE 包含了 NLI、情感分析、句子相似度等任务。BERT 在所有任务上以压倒性优势击败了此前 OpenAI GPT 的最好成绩。

2. SQuAD 问答任务

在 SQuAD v1.1 中，$\text{BERT}_{\text{LARGE}}$ 单模型即获得了 93.2 的 F1 分数，大幅超越了此前经过重度堆砌的集成模型（如 QANet 等），同时也超越了人类水平（Human F1 91.2）。在更难的 SQuAD v2.0（允许无答案）上，同样取得了 83.1 的 SOTA 成绩。

3. 关键消融实验 (Ablation Studies)

为了证明“到底是哪个设计让 BERT 这么强”，作者基于 $\text{BERT}_{\text{BASE}}$ 架构做了严谨的消融实验：

• No NSP（去掉下一句预测任务）：保留 MLM，但在 NLI 和 SQuAD 任务上性能出现显著下降，证明了预训练捕捉句子间关系的重要性。
• LTR & No NSP（仅自左向右 + 去掉下一句预测）：这就变成了一个类似于 OpenAI GPT 的架构。结果显示，在所有任务上性能全面崩盘（例如 SQuAD F1 直接从 88.5 掉到 77.8）。
• 即使为 LTR 模型强行在微调时加上一个 BiLSTM 层，其表现也远远落后于原生的双向 BERT。这**铁证了“深度双向”架构是 BERT 成功的最核心因素**。