RLHF 教模型"讨好人"，但奖励主观、有噪声、还容易被刷。可数学和代码有个更干净的信号——答案要么对要么错，能自动验证。这就是 RLVR。本文对应 Datawhale diy-llm 第十四章，按一条主线精炼重组：为什么需要 RLVR（RLHF 三大困境）→ 算法主角 GRPO（相比 PPO 扔掉价值网络、改用组内 z-score 优势，附极简代码与长度偏差/Dr.GRPO 修正）→ 三个里程碑案例（DeepSeek-R1 的纯 RL 与顿悟时刻、Kimi k1.5 的长度控制、Qwen3 的思维模式融合）→ 最后把三条路收敛成同一个配方：冷启动 SFT 稳格式、RL 放大推理、蒸馏搬进小模型。PPO 细节见前作，本文只做动机回顾。配重绘示意图与论文原图。

一个能用的大模型，从来不是"跑一次训练"就有的，而是一条流水线。本文对应 Datawhale diy-llm 第十三章，作为总览篇把三段串成一条线：预训练在 50–200T tokens 上用 next-token 自学通用知识（产出只会续写的基座）→ SFT 用少量高质量演示学会指令格式（质量比数量更重要，含 Alpaca/ChatML 数据格式、污染阈值、幻觉根源与"中期训练"退火）→ 偏好对齐用 RLHF / DPO / RLVR 把模型调得更合人意（含 DPO 把 RL 问题变监督问题的关键推导、过度优化风险）。各阶段的深水区细节直接链到本站已有专篇（PPO、RLVR、DPO），本文只负责讲清"它们怎么衔接、各自解决什么"。配重绘示意图与论文原图。

系统拆解 Proximal Policy Optimization：从 Policy Gradient、折扣回报、baseline 与 advantage 开始，理解 on-policy 数据复用、TRPO 约束思想、PPO clipping 目标以及完整算法流程。

按笔记顺序梳理强化学习基础、Policy Gradient、Actor-Critic / PPO / Q-learning 学到的内容，以及训练完成后的推理预测流程。

接在 SFT v2 数据修复之后，完整拆解 DPO 算法、偏好数据构造、TRL 训练链路，以及 Pokemon DPO v1 为什么没有超过 SFT v2。