一个能用的大模型，从来不是"跑一次训练"就有的，而是一条流水线。本文对应 Datawhale diy-llm 第十三章，作为总览篇把三段串成一条线：预训练在 50–200T tokens 上用 next-token 自学通用知识（产出只会续写的基座）→ SFT 用少量高质量演示学会指令格式（质量比数量更重要，含 Alpaca/ChatML 数据格式、污染阈值、幻觉根源与"中期训练"退火）→ 偏好对齐用 RLHF / DPO / RLVR 把模型调得更合人意（含 DPO 把 RL 问题变监督问题的关键推导、过度优化风险）。各阶段的深水区细节直接链到本站已有专篇（PPO、RLVR、DPO），本文只负责讲清"它们怎么衔接、各自解决什么"。配重绘示意图与论文原图。

都说"数据比模型结构更关键"，可数据工程到底在做什么？本文对应 Datawhale diy-llm 第十一章，把一条完整的数据流水线讲透：数据从哪来（三阶段训练的数据角色、Common Crawl/代码/书籍/数学，到 OLMo 2 与 Qwen3 的现代配方）→ 怎么洗（C4 启发式、CCNet 困惑度过滤）→ 怎么智能筛选（KenLM、FastText、DSIR 重要性重采样）→ 怎么去重（精确去重、Bloom Filter、LSH 的 k-shingling/MinHash/分桶与 S 型曲线）→ 怎么配比与合成（真实数据奠基、合成数据精调）→ 以及版权、数据投毒（250 份文档即可植入后门）、记忆与评估等风险。配以重绘的示意图与论文原图。

训练一个千亿模型一次就要烧掉数百万美元，传统"多跑几组实验调参"的炼丹式做法彻底失效。缩放定律给出的解法是：在小规模上把"投入（参数 N / 数据 D / 算力 C）→ 损失 L"的关系拟合成一条幂律，再外推到大规模，在花钱之前就把结果算出来。本文按"为什么有效 → 单因素缩放 → 超参也能外推 → 联合缩放 → 训练最优 vs 推理最优 → 工程案例"的主线，把幂律的来源、内在维度、数据组成与重复、临界批量与 μP、Chinchilla 的 20:1、以及"为什么大家都在过度训练"讲清楚，配以重绘的示意图与论文原始实验图。

前两讲都在单张卡上做文章——可当模型大到一张卡根本装不下，故事就变了。这一讲把战场搬到多卡多机：先看清新瓶颈不再是 HBM 访存，而是慢得多的"卡间通信"；再用一条恒等式（All-Reduce = Reduce-Scatter + All-Gather）讲透集合通信的成本；然后把数据、张量、流水线、序列四种并行统一到"一份负载、四种切法"的框架里，逐一拆解 ZeRO/FSDP 如何把单卡显存从 120GB 压到 1.9GB、张量并行为何只能关在节点内、流水线的气泡怎么挤掉；最后落到"先快后慢、由内向外"的组合法则。

系统梳理深度学习优化器的演进路径：动量梯度下降抑制震荡、RMSProp 自适应步长、Adam 融合二者、AdamW 解耦权重衰减。