爆料称 DeepSeek V4.1 Pro 约 2T 参数,从零稀疏训练无不稳定
teortaxesTex · x · 2026-10-03
推主 teortaxesTex 透露 DeepSeek 下一代模型的内部讨论情况(属可信圈内爆料,未证实):
- V4.1 recipe:官方报告无训练不稳定问题,从零开始的稀疏训练效果良好、行为可预测,团队打算按此配方继续扩大规模。V4.1 Pro 据称约 2T 参数(结合 engrams 还会更多),8T 模型的设计尚未定案。
- 对 Kimi 的判断:DeepSeek 认为 Moonshot 的路线更差——现阶段无法以足够吞吐量 serve 2.8T 参数模型,尤其该架构算力开销大。
- 对智谱的判断:Zhipu 在 scaling 上确实吃力。
- DeepSeek 的策略是找到一条既可规模化又保持低成本的配方,而非堆最大参数。
所属事件:爆料称 DeepSeek V4.1 Pro 约 2T 参数,视 Kimi 路线难扩展(2 条相关)→
「Infra」频道最新
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19
- 腾讯被曝最少买国产芯片,转用日本 neocloud 训模型 — teortaxesTex · 2026-11-19