无损压缩 MXFP4 尺度，Kimi-K3.1-Pro 八卡省出 50.2 GiB 内存
AlpinDale · x · 2026-11-12
AlpinDale 向 dphnAI/sonar 提交 PR，为 Kimi-K3.1-Pro-NF12 实现 MXFP4 expert scales 的无损压缩。在 8×B300、131K 输入/2K 输出、无投机解码的实测下：单卡模型显存从约 193.80 GiB 降到 187.52 GiB，八卡合计省 50.2 GiB；可用 KV 显存每卡增加 12.5%（50.76→57.11 GiB）；代价是输出吞吐下降 2.3%–3.3%、每 token 延迟增加约 3.6%–4.8%。
「Infra」频道最新
- Kobeissi披露：曾质疑英伟达173亿美元新加坡营收是芯片转运通道 — josh_bickett · 2026-11-12
- 美商务部 AI 芯片远程访问新规扩容：巴西挪威等八国列入许可要求 — pstAsiatech · 2026-11-12
- 搞懂 LLM 推理的 6 项关键技术：从 PagedAttention 到 Prefill/Decode 分离 — techNmak · 2026-11-12
- 50GB 的 MiniMax H3 如何塞进 12GB 显存？量化实测拆解 — fa6637 · 2026-11-12
- PISA 路由器按提示词自适应选模型,成本-性能权衡领先四项基准 — Saul Urso · 2026-11-12
- join ordering + Kaplan-Meier + trie attention，让分析推理效率提升 10 倍 — charles_irl · 2026-11-12