T²Quant:按任务与去噪步动态分配精度,量化扩散语言模型
Ofek Avivi · hf · 2026-10-24
Technion 与 Ben-Gurion 大学提出扩散语言模型(DLM)量化方法 T²Quant。研究发现 DLM 的量化敏感度同时依赖任务和时间步:GSM8K、HumanEval、MMLU-Pro 等不同任务在 128 个去噪步中呈现明显不同的精度需求曲线,且这些模式无需真值标签或任务专属评测指标即可预测。据此方法在各去噪步间按预测的任务/时间敏感度动态分配激活精度,实现任务与时间感知的混合精度量化。
「研究」频道最新
- 1979 论文断言形式验证难成气候,2026 预言它将像 fuzzing 一样普及 — danbri · 2026-10-24
- NVIDIA 携手华盛顿大学发布 RFD4-Proteina,蛋白质设计再进一步 — AllThingsApx · 2026-10-24
- AWS 与伯克利让 Agent 用 Lean 证明代码优化等价,平均提速 1.85 倍 — xiuyu_l · 2026-10-24
- 研究者质疑困惑度评测:代码模型该看 pass@k 而非 PPL — eliebakouch · 2026-10-24
- 谷歌 Discover 上线 SDF 系统,排名前就过滤过时文章,陈旧内容降 54.9% — gaganghotra_ · 2026-10-24
- Google 官宣 Gemini 4 Argon 助力核聚变、酶工程与罕见病三大突破 — Eric520CC · 2026-10-24