都说"数据比模型结构更关键"，可数据工程到底在做什么？本文对应 Datawhale diy-llm 第十一章，把一条完整的数据流水线讲透：数据从哪来（三阶段训练的数据角色、Common Crawl/代码/书籍/数学，到 OLMo 2 与 Qwen3 的现代配方）→ 怎么洗（C4 启发式、CCNet 困惑度过滤）→ 怎么智能筛选（KenLM、FastText、DSIR 重要性重采样）→ 怎么去重（精确去重、Bloom Filter、LSH 的 k-shingling/MinHash/分桶与 S 型曲线）→ 怎么配比与合成（真实数据奠基、合成数据精调）→ 以及版权、数据投毒（250 份文档即可植入后门）、记忆与评估等风险。配以重绘的示意图与论文原图。

训练一个大模型很难，但说清"它到底好不好"同样难。本文按一条主线梳理大模型评估的全貌：先看现实中的四个评估视角与"想清楚四件事"的评估框架，再回到最古老的度量——困惑度（含 LAMBADA / HellaSwag 下游验证），然后系统过一遍基准测试的五大家族（知识 / 指令遵循 / 智能体 / 纯推理 / 安全），最后落到两个根本问题：真实性（考试分数 ≠ 真实世界好用）与有效性（测试集被污染、标注有噪声）。结论是当下评估正陷入"数据爆炸、信息贫困"的危机——榜单越来越多，可信的信号却越来越少。配以重绘示意图与原论文流程图。

今天大模型的钱，大头不在训练而在推理——OpenAI 每天生成上千亿词，推理是 7×24 小时在烧。可推理慢有个反直觉的真相：多数时候 GPU 不是在算，而是在等数据。本文对应 Datawhale diy-llm 第十章，按一条主线重组：先讲清推理与训练"算力 vs 带宽"的瓶颈区别，再拆开 Prefill/Decode 两阶段与 KV Cache，用"算术强度"点破内存受限的本质与批处理的拼车效应，理清延迟与吞吐的矛盾，最后把线性注意力/扩散、推测解码/MTP、提示词压缩等五花八门的优化技术归到三条路线上，配以重绘的示意图与论文原图。

训练一个千亿模型一次就要烧掉数百万美元，传统"多跑几组实验调参"的炼丹式做法彻底失效。缩放定律给出的解法是：在小规模上把"投入（参数 N / 数据 D / 算力 C）→ 损失 L"的关系拟合成一条幂律，再外推到大规模，在花钱之前就把结果算出来。本文按"为什么有效 → 单因素缩放 → 超参也能外推 → 联合缩放 → 训练最优 vs 推理最优 → 工程案例"的主线，把幂律的来源、内在维度、数据组成与重复、临界批量与 μP、Chinchilla 的 20:1、以及"为什么大家都在过度训练"讲清楚，配以重绘的示意图与论文原始实验图。

前两讲都在单张卡上做文章——可当模型大到一张卡根本装不下，故事就变了。这一讲把战场搬到多卡多机：先看清新瓶颈不再是 HBM 访存，而是慢得多的"卡间通信"；再用一条恒等式（All-Reduce = Reduce-Scatter + All-Gather）讲透集合通信的成本；然后把数据、张量、流水线、序列四种并行统一到"一份负载、四种切法"的框架里，逐一拆解 ZeRO/FSDP 如何把单卡显存从 120GB 压到 1.9GB、张量并行为何只能关在节点内、流水线的气泡怎么挤掉；最后落到"先快后慢、由内向外"的组合法则。

上一讲讲清了 GPU 优化的靶心——减少访存、提高复用；这一讲是动手篇：你怎么知道自己打中了？答案只有一个——测量。全文沿一条工程闭环展开：先用基准测试"测得准"（绕开异步执行的计时陷阱），再用性能剖析"找得到"瓶颈 kernel，最后用算子融合"改得对"，并把 CUDA C++、Triton、torch.compile 三条落地路径放到同一个 GELU 上对比，最后给出"什么时候才值得亲自写 kernel"的决策框架。

一条主线贯穿全文——GPU 的瓶颈从来不在算力，而在访存。先看清 CPU 与 GPU 的设计哲学差异，再拆解 GPU 的执行模型与分层内存，用屋顶线模型确立"减少访存、提高复用"这一优化总纲；随后把低精度、算子融合、重计算、内存合并、分块五种技术统一到这条主线上，最后落到两个经典案例：训练/推理通用的 FlashAttention 与推理期 KV Cache 管理的 PagedAttention。

从稠密 FFN 的算力瓶颈出发，讲清 MoE "容量大但计算稀疏"的核心思想：通用门控公式、三种路由方向（Token 选专家 TC / 专家选 Token EC / 哈希路由）的取舍、负载均衡如何改写训练目标（辅助损失 / Router z-loss / 无辅助损失偏置）与容量溢出机制，再串起 Switch Transformer、DeepSpeed-MoE、DeepSeekMoE 到 DeepSeek-V4 的演进主线，配以可运行的最小实现代码。

先回顾原始 Transformer 的五大组件，再沿归一化、前馈、激活、位置编码四条主线梳理现代变体为何收敛到 RMSNorm + SwiGLU + RoPE 的 LLaMA 范式，最后补上注意力效率变体（KV Cache、MQA/GQA/MLA、稀疏注意力）与训练稳定性技巧（z-loss、QK-Norm、软截断）。

跟随斯坦福 CS336 第二讲，从“训练要多久”和“显存放得下多大模型”两个真实问题出发，系统讲解张量机制、浮点精度、FLOPs 估算与训练全流程的资源核算方法。

从分词器在 LLM 中的定位出发，拆解其四步训练流程，对比词级 / 字符级 / 字节级三种粒度，逐一讲清 BPE、BBPE、WordPiece、Unigram 的核心准则与差异，并以 DeepSeek 分词器收尾。

接在 SFT v2 数据修复之后，完整拆解 DPO 算法、偏好数据构造、TRL 训练链路，以及 Pokemon DPO v1 为什么没有超过 SFT v2。

用固定 30 题评测集定位 SFT v1 退化，再通过数据重建、质量门禁和同集复评验证 SFT v2 如何超过 base。

基于 Pokemon-data 项目，完整拆解 SFT 数据链路：数据爬取、文本清洗、模板化转换、去重质检、确定性切分与数据卡产出。

进入 E:/Pokemon-data/SFT，完整拆解从 smoke 校验到正式训练、监控、产物回收与常见坑排查的实战流程。

LoRA 通过冻结预训练权重并注入低秩更新，在接近全量微调效果的同时显著降低可训练参数量、显存占用与部署成本。

从检索、分块、向量化到混合检索、重排和评估，系统梳理 RAG 的核心机制、工程权衡与高频面试问题。

LSeg 论文精读：把语言语义空间引入像素级分割，让语义分割从固定类别预测扩展到文本驱动的开放词汇分割。

系统解析 AlphaCode 如何把代码生成从单次补全推进为“生成、执行、筛选、聚类”的竞赛级系统，并理解 encoder-decoder、correctness signal 与 n@k 指标背后的设计逻辑。

Codex 论文精读：理解 GPT-3 如何专化为代码模型，以及 HumanEval 与 pass@k 如何重塑代码生成评估。

系统解析 GPT-1 如何以 Decoder-only Transformer 和无监督预训练 + 有监督微调范式，奠定现代大语言模型的发展路线，并结合代码实战理解 causal mask、Teacher Forcing 与自回归生成。

系统解析 GPT-2 如何借助 WebText 预训练与 decoder-only Transformer，把 NLP 从预训练 + 微调推进到 Prompt 驱动的零样本范式，并结合代码实战理解 causal attention、Pre-LN 与自回归生成。

系统解析 GPT-3 如何把 decoder-only Transformer 扩展到 1750 亿参数，并通过 zero-shot、one-shot 与 few-shot 实验验证情境学习能力，同时结合数据过滤、LSH 去重与污染检测理解大模型能力涌现的工程基础。

MoE 混合专家模型论文串讲：稀疏门控机制、专家容量、负载均衡损失、细粒度专家分割与共享专家隔离。