DeepSeek-V3 学习率计划拆解:预热、峰值、余弦衰减到退火四阶段
cneuralnetwork · x · 2026-11-05
作者梳理了 DeepSeek-V3(14.8T tokens 预训练)的学习率计划,并配了一张标注图:
- Warmup:起步阶段快速爬升,稳定早期优化
- Peak:长时间维持在 2.2×10⁻⁴ 的大学习率直到约 10T tokens,进行广泛学习
- Cosine Decay:之后余弦衰减至 2.2×10⁻⁵(约 14.3T 处)
- Final Anneal:最后阶段两个低学习率平台——333B tokens 用 2.2×10⁻⁵,最后 167B tokens 降到 7.3×10⁻⁶,做最终收敛
图中标注来源为 DeepSeek-V3 技术报告的训练超参部分,是重绘示意图而非原始图。
「模型」频道最新
- OpenAI GPT-Live 电话外呼 API 正式 GA,支持任意 SIP 中继拨打电话 — gdb · 2026-11-05
- 5699 场真机对战：宇树 G1 五个任务 8 个模型全部失败，跨本体排名一致性仅 0.24 — DJiafei · 2026-11-05
- Reddit 热议：与其堆 1000 行指令，不如让模型像人一样记住你 — infieldmitt · 2026-11-05
- 同一批 AI 行为样本，Doomer 与旁观者读出完全相反的结论 — sebkrier · 2026-11-05
- Teknium 预告 Nous Research 新动作:「Time to cook」 — Teknium · 2026-11-05
- Verda 推理服务上线预览，首日即接入 Kimi K3.1 Pro — Kimi_Moonshot · 2026-11-05