DeepSeek 判定:提升数据质量的 ROI 已远超设计新后训练算法
yacineMTB · x · 2026-09-12
据 @lujasper 引述,DeepSeek 内部观点认为,当前改进数据质量的投入回报已显著高于继续研发新的后训练(post-training)算法。DeepSeek 曾发明 GRPO 并在 R1 后迭代、加入 MOPD,如今认为算法层面已足够,重心应转向数据。
- 对比:ByteDance、阿里、Google、Meta 发表大量后训练算法论文,却未能跑赢自身 GPU 算力储备的应有表现。
- @lujasper 认为,这一判断对非实验室从业者早已成立:做 LLM 后训练时 80% 的精力应花在数据上。
- 具体做法:雇佣领域专家深挖 RL 任务、人工筛查 rollout 与 SFT 数据剔除可疑样本、确保任务真正可解、保证数据在难度与类别上足够多样。
所属事件:DeepSeek 称提升数据质量的回报已超新后训练算法(3 条相关)→
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31