预训练幕后：MoE 内核从 4k 扩到 16k 上下文，MFU 中途 20% 提至 30%
dlwh · x · 2026-10-25
- classiclarryd 透露某次预训练运行的内部细节：因数据含较长文档，原计划像 MAI 一样以 16k 上下文启动，但 MoE 内核当时只支持 4k(high dropping),只能先按 4k 搭建 scaling ladder,预期新内核落地后 scaling ladder 不再适用。
- 结果多个内核改进意外地在中途落地，把 MFU 从 20% 提升到 30%。
- 关于 Uncheatable 的预测是运行中途加入的，未对渐近线做校准或与运行数据拟合，因此偏差较大；其主要价值是方向性估算早期 datamix 变更的影响。dlwh 评论称 Larry 给出了一贯有用的细节。
「Infra」频道最新
- RTX 3090 本地跑 MiniMax H3 视频生成，实测推向极限 — DeliciousGorilla · 2026-10-25
- a16z 数据:GPU 租金不跌反涨,H200 年内涨 143% — elonmusk · 2026-10-25
- 16GB 显存跑 Qwen3.8 Flash IQ3_S：生成 250 tok/s、预处理 5600 tok/s — yehyakar · 2026-10-25
- 4 台 DGX Spark 集群跑 GLM-4.6-Flash:1M 上下文 16 并发的本地部署配方 — AIFlow_ML · 2026-10-25
- 43分钟花0.48美元做出交互地图，DeepSeek V4.1实战引爆热议 — teortaxesTex · 2026-10-25
- ISTA 称 2bit 量化零损失？社区追问 GSQ-RCO 的 KLD 与基准饱和问题 — Queasy_Back2588 · 2026-10-25