Minima 将 Qwen3.8-27B 全部 496 层量化至 NVFP4 W4A4,体积缩 2.9 倍
pbaylies · x · 2026-09-05
HuggingPapers 转发的论文指出，混合架构 LLM 的循环（recurrent）部分其实很容易量化。Minima 方法将 Qwen3.8-27B 的全部 496 个线性层——包括 Gated DeltaNet 循环层——量化到 NVFP4 W4A4，在体积缩小约 2.9 倍的情况下性能与 BF16 持平，说明混合线性注意力模型的循环半边并非量化难点。
所属事件:Minima 将 27B 混合大模型全层量化至 NVFP4(2 条相关)→
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23