DeepSeek V4后训练解析
heghbalz · x · 2026-07-15
这篇转发指向一篇对 DeepSeek V4 后训练方案 的技术拆解。作者通读了技术报告后，重点分析了其后训练 recipe 的结构与取舍。
核心观点包括：
- 文中没有明确提到传统的 RLHF / DPO 等偏好优化流程；
- 训练更依赖 RLVR 与 multi-teacher on-policy distillation；
- 在可验证答案的领域（数学、竞赛编程）分别训练专项模型，并使用基于规则的可验证奖励；
- 在难以验证的领域（写作、智能体行为、主观任务）则使用 Generative Reward Model (GRM)。
引用段补充了这类多领域后训练的共性难题：把数学、代码、指令跟随同时做强很难，某一能力提升时另一项容易退步，因此需要像 MOPD 这类方法去缓解“跷跷板效应”。
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11