曝 DeepSeek 下一步训练或达 8T token,X 用户称模型 scaling 仍靠炼金术
teortaxesTex · x · 2026-09-21
X 用户 teortaxesTex 评论大模型 scaling 现状:理论激活参数相同效果应相当,Meta 两年前就曾在 1.6 万张 H100 上跑通 405B 全参数模型,稀疏化虽有 MFU 损耗但问题不大。他认为当前训练仍含太多「炼金术」成分,贸然冲大规模只会浪费数月算力。
同时他引用了关于 DeepSeek 为防止再次泄密而加强保密的讨论——结果关键细节仍被立即泄露——并猜测传闻中 8T token 的训练规模非常激进,称其达到 Astra 级别,预测落地时间在 2027 年末(未证实信息)。
所属事件:曝 DeepSeek 训练 2T 参数模型并规划 8T，全程采用华为昇腾芯片(6 条相关)→
「Infra」频道最新
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12
- 英国 AI 芯片公司 Fractile 融资 7.2 亿美元，跻身算力赛道头部 — TechCrunch AI · 2026-11-12