开发者实测 Blackwell GPU 的 MXFP6 量化:仅指令集支持无原生加速
AlpinDale · x · 2026-08-02
开发者 AlpinDale 在 dphnAI/sonar 项目中提交了针对 SM110(Blackwell 架构)的原生 MXFP6 量化支持。该 PR 实现了在线量化功能,可以直接加载常规的 BF16 模型并转换为 MXFP6 格式运行。
作者指出,尽管 MXFP6 据称在 Blackwell GPU 上受支持,但目前仅停留在 ISA(指令集架构)层面,似乎缺乏原生的硬件加速。实测来看,这更像是一个有趣的“小把戏”,虽然比 FP8 略快且更省显存,但整体加速效果有限。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash:解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉:花3亿日元调2个超参的时代,BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案:逐请求校验证据复用,零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16