推算：DeepSeek 稀疏路线有望做到 40T 总参数、1T 激活
teortaxesTex · x · 2026-09-17
推文对前沿模型规模走向做算术推演：总参数 40T、每 token 激活 1T 应该就够用，而 DeepSeek 的稀疏化路线（含 Engram 记忆模块则 10T 总参）正朝着这个方向推进。作者认为依靠 supernodes（超节点）架构，serving 40T 总参数并不困难，再叠加合成数据与多模态，200T token 的训练数据量也不成问题，结论是超大稀疏模型「不可避免」。
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02