爆料称 DeepSeek V4.1 Pro 约 2T 参数,从零稀疏训练无不稳定
teortaxesTex · x · 2026-10-03
推主 teortaxesTex 透露 DeepSeek 下一代模型的内部讨论情况(属可信圈内爆料,未证实):
- V4.1 recipe:官方报告无训练不稳定问题,从零开始的稀疏训练效果良好、行为可预测,团队打算按此配方继续扩大规模。V4.1 Pro 据称约 2T 参数(结合 engrams 还会更多),8T 模型的设计尚未定案。
- 对 Kimi 的判断:DeepSeek 认为 Moonshot 的路线更差——现阶段无法以足够吞吐量 serve 2.8T 参数模型,尤其该架构算力开销大。
- 对智谱的判断:Zhipu 在 scaling 上确实吃力。
- DeepSeek 的策略是找到一条既可规模化又保持低成本的配方,而非堆最大参数。
「Infra」频道最新
- iPhone 变身 MacBook 外挂 GPU:Qwen 27B 预填充提速最多 44% — StayLameBro · 2026-10-03
- 美光 CEO：2027-2028 年内存供应将比 2026 年更紧张 — dankvr · 2026-10-03
- mamf-finder 升级：支持 FP8/MXFP4/NVFP4 实测 GPU 真实 TFLOPS — StasBekman · 2026-10-03
- 实测 B200：nvfp4 比 mxfp4 省 9% 算力且精度更高，Blackwell 起建议选前者 — StasBekman · 2026-10-03
- LithosAI 发布 LithosBox：毫秒级快照分叉的 Agent 沙箱 — JiaZhihao · 2026-10-03
- 传 RTX Spark 笔记本 10 月 7 日发布,24GB-128GB 售 1800-2900 美元 — Porespellar · 2026-10-03