华为发布 MACaQ:MXFP4 W4A4 量化方法,兼容 llama.cpp 与 vLLM
huawei-csl · hf · 2026-11-11
MACaQ 是华为推出的模型无关(Model Agnostic)校准后训练量化方法,可将权重与激活量化到 MXFP4 W4A4 低精度。
- 技术要点:对每个线性层独立量化,采用在线激活变换与 Hessian 感知精调,在降低成本的同时保持精度。
- 适用范围:覆盖语言模型与扩散模型,宣传图称一个量化器即可支持文本、图像、音频、视频、3D 等模态。
- 生态兼容:宣称兼容 llama.cpp、vLLM、Diffusers 等主流推理框架。
「Infra」频道最新
- Zen 6 实测:每周期 5.96 次加法超 Zen 5,分支误预测恢复提速约 15% — lemire · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面,可任意视角回放 — import_jmr · 2026-11-11
- Altman 首度明言:OpenAI 中长期要取代 Nvidia — zephyr_z9 · 2026-11-11
- 报道:中国高校在美国禁令下仍购入英伟达 H200 芯片 — pstAsiatech · 2026-11-11
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11