USC 发布 SoloQ:免校准 4 比特量化,扩散语言模型内存降 2.61 倍
UniversityofSouthernCalifornia · hf · 2026-10-12
南加州大学团队在 Hugging Face 发布 SoloQ,一个面向扩散大语言模型(dLLM)的免校准后训练量化框架。论文及团队来自 USC、Yale 与 Korea University。
- 背景:dLLM 通过双向扩散式 token 生成成为自回归模型的替代路线,但全序列去噪反复调用高成本前向计算,块扩散模型还引入内存密集的 KV-cache,低比特量化很诱人;而现有量化方法依赖校准数据,且激活分布在不同掩码状态和去噪步之间漂移
- 方法:SoloQ 将权重和激活映射到归一化旋转基(K-RPBH 结构化旋转 + 轻量 rescaling 校正),使旋转后分布可预测,实现数据无关的量化;支持分布匹配码本和硬件原生的 NVFP4
- 块扩散模型上额外做 commit-time KV-cache 量化,压缩持久状态而不扰动正在去噪的块
- 结果:在 LLaDA、Dream(全序列)与 Fast-dLLM v2、Nemotron-Labs-Diffusion(块扩散)上,4 比特量化保持精度,并在知识与推理密集基准上超过依赖校准的基线;NVFP4 下峰值内存最高降 2.61 倍,端到端推理最高加速 2.24 倍
「Infra」频道最新
- 开发者入手 AMD Halo 迷你主机,散热表现出乎意料 — gajesh · 2026-10-12
- Hugging Face 工程师晒自建存储：168.5TB 用 RAID10/RAID6 混搭 — TheZachMueller · 2026-10-12
- Ilya Sutskever：GPU 就是新的比特币 — abhiadesai · 2026-10-12
- 马斯克征募 Terafab 超级工厂人才:称产值将进入全球 GDP 前 20 — elonmusk · 2026-10-12
- GGUF Q4 与软件模拟 NVFP4 哪个好？Reddit 探讨 4bit 量化质量差异 — theqmann · 2026-10-12
- 10 个开源 GitHub 项目帮你砍掉 AI Agent 的 token 账单 — victor_explore · 2026-10-12