DeepSeek V4 训练细节曝光:RL 训练超 10T token,上下文冲到 1M
stochasticchasm · x · 2026-09-11
网友 stochasticchasm 分析称,DeepSeek V4 成为继 MAI-thinking-1 之后第二个在「collapse 之后仍持续 RL 训练」的案例,并指出其做法颇为大胆:跨不同 scaffold 合并 checkpoint。
补充观察:训练全程没有出现不稳定,说明 v4 训练期已解决了相关问题,对这一架构是好信号;团队继续沿用 WSD 调度,并持续扩展上下文长度约 10T token——以 1M token 的上下文训练如此之久相当罕见。消息属社区分析,未经官方证实。
所属事件:DeepSeek V4 训练细节：超 10T token 与 1M 上下文(3 条相关)→
「模型」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- Kimi 发布 K3.1 Pro：3T 级开源权重模型，100 万上下文幻觉降 65% — NVIDIAAI · 2026-10-28
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Codex 后台任务一夜烧光 500 美元周额度外加 75000 credits — sethlazar · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28