T²Quant:按任务与去噪步动态分配精度,量化扩散语言模型

Ofek Avivi · hf · 2026-10-24

Technion 与 Ben-Gurion 大学提出扩散语言模型(DLM)量化方法 T²Quant。研究发现 DLM 的量化敏感度同时依赖任务和时间步:GSM8K、HumanEval、MMLU-Pro 等不同任务在 128 个去噪步中呈现明显不同的精度需求曲线,且这些模式无需真值标签或任务专属评测指标即可预测。据此方法在各去噪步间按预测的任务/时间敏感度动态分配激活精度,实现任务与时间感知的混合精度量化。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →