DeepSeek V4后训练解析
heghbalz · x · 2026-07-15
这篇转发指向一篇对 DeepSeek V4 后训练方案 的技术拆解。作者通读了技术报告后，重点分析了其后训练 recipe 的结构与取舍。
核心观点包括：
- 文中没有明确提到传统的 RLHF / DPO 等偏好优化流程；
- 训练更依赖 RLVR 与 multi-teacher on-policy distillation；
- 在可验证答案的领域（数学、竞赛编程）分别训练专项模型，并使用基于规则的可验证奖励；
- 在难以验证的领域（写作、智能体行为、主观任务）则使用 Generative Reward Model (GRM)。
引用段补充了这类多领域后训练的共性难题：把数学、代码、指令跟随同时做强很难，某一能力提升时另一项容易退步，因此需要像 MOPD 这类方法去缓解“跷跷板效应”。
「研究」频道最新
- Hi3D V1.0 开源发布：训练资产翻四倍，切片成功率 90% — kimmonismus · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26