极端量化下表现更稳，扩散语言模型对比 AR 模型实证研究
wFXx · reddit · 2026-08-03
一位独立研究者发布了关于扩散语言模型与自回归（AR）模型在低比特量化下表现差异的对比实验。
主要发现：
- 130M 参数（INT4 量化）： 扩散模型在 PTB、Wikitext-103 等数据集上的性能退化程度明显低于 AR 基线。
- 7M 参数（三值量化）： 扩散模型并未表现出额外的性能损耗，与 AR 模型保持了惊人的一致性。
作者在 RTX 2080 Super 上完成了实验，并已将所有配置、评估输出和复现说明在 GitHub 上完全开源，呼吁社区在更强硬件上进行规模扩展与技术验证。
「模型」频道最新
- EpochAI 更新榜单：Claude Fable 5 长程任务得分远超 GPT-5.6 — Jsevillamol · 2026-08-04
- 传 OpenAI 将发 Astra 模型，主打多智能体协同 — thesaraharminta · 2026-08-04
- 实测 Qwen3.8-Max:开源模型在 Agent 任务已逼近闭源前沿 — dair_ai · 2026-08-04
- 推测 Kimi K3 达 2.8T 参数，或由更小的 Opus 蒸馏 — gabriberton · 2026-08-04
- 专家24小时复现OpenAI数学成果,Astra被指非质变 — Gary Marcus · 2026-08-04
- 实测吐槽：Claude 3.5 Sonnet 与 Opus 做幻灯片效果极差 — nathanbenaich · 2026-08-04