Voodoo 动态量化方法开源 MIT:用梯度下降为每个张量选量化级别
1ncehost · reddit · 2026-09-15
两个月前 Reddit 用户 1ncehost 宣布发现名为 Voodoo Quant 的动态量化方法,在小型 Qwen3.5 GGUF 模型的激进量化档位上达到 SOTA。现因无力将其产品化,作者以 MIT 协议开源了完整工具集与方法论。
核心思路:
- 动态量化指 GGUF 格式下为每个张量选择不同量化级别;Voodoo Quant 首次用梯度下降优化逐张量的量化布局。
- 做法:同时跑所有量化级别的候选权重,冻结权重只训练每个张量、每级一个标量 gate,通过退火的 tau 与 softmax 让选择逐渐收敛;损失函数以混合量化 logits 对 BF16 参考的 KL 散度为主,并奖励接近目标文件体积,用多样化校准集训练。
与 Unsloth Dynamic 3.0 对比:UD3 保密已久,作者实测在中高档位 UD3 更好,但激进低档位 VQ 更优;VQ 计算开销更大但等效于远超静态分析的基准迭代次数。
工具集目前面向 Qwen 架构,可较快适配其他模型;属研究级项目,大模型尺寸尚未验证。
「Infra」频道最新
- 单周 500 万亿 token 将至，引用图示 LLM 用量持续飙升 — gajesh · 2026-09-15
- Q-CTRL 用 120 比特 IBM 量子机在材料模拟中实现实用性量子优势 — MJBiercuk · 2026-09-15
- 曝英特尔代工拿下 HBM 基底裸片,海力士美光两大供应商或 2029 年落地 — zephyr_z9 · 2026-09-15
- Google 用深度学习从太空自动追踪全球甲烷排放 — CurieuxExplorer · 2026-09-15
- 呼吁欧洲大规模建数据中心：要算力主权而非只有监管 — VraserX · 2026-09-15
- Palantir 携手 NVIDIA 推出面向企业的主权 AI OS 参考架构 — arieljalali · 2026-09-15