DeepSeek V4后训练解析
heghbalz · x · 2026-07-15
这篇转发指向一篇对 **DeepSeek V4 后训练方案** 的技术拆解。作者通读了技术报告后，重点分析了其后训练 recipe 的结构与取舍。 核心观点包括： - 文中没有明确提到传统的 **RLHF / DPO** 等偏好优化流程； - 训练更依赖 **RLVR** 与 **multi-teacher on-policy distillation**； - 在**可验证答案**的领域（数学、竞赛编程）分别训练专项模型，并使用基于规则的可验证奖励； - 在**难以验证**的领域（写作、智能体行为、主观任务）则使用 **Generative Reward Model (GRM)**。 引用段补充了这类多领域后训练的共性难题：把数学、代码、指令跟随同时做强很难，某一能力提升时另一项容易退步，因此需要像 MOPD 这类方法去缓解“跷跷板效应”。