分解量化术让 1-bit Qwen3.8 MMLU-Pro 从 29% 飙至 61.5%
udmrzn · x · 2026-10-14
ISTA-DASLab 新论文用 Disaggregated Quantization(分解量化) 把 1-bit Qwen3.8-27B 在 MMLU-Pro 上的成绩从 29.04% 提升到 61.54%,提高 32.5 个百分点。
核心思路是不换更大的解码器,而是拆分模型职责:
- Prefiller:一个专门训练的 NVFP4 模型负责处理输入 prompt 并生成解码器所需的 cache——它针对压缩后的解码器专门训练
- Decoder:重度量化的 1-bit GGUF 模型接手生成回答
即用两套权重分别承担预填充与解码,让极端量化模型也能保持可用精度。该团队此前也做过 Qwen3.8-27B 的 GSQ-RCO 量化。
「Infra」频道最新
- Cooler Master 推 300kW 液冷 CDU，峰值 450kW 兼容 GB200/GB300 — BenBajarin · 2026-10-14
- MSAR 多头深度注意力架构：18B/28B 上全面超越 AttnRes 与 mHC — SonglinYang4 · 2026-10-14
- Cloudflare 数据管线每秒处理 20 亿事件,优化省下两年半硬件扩张 — irvinebroque · 2026-10-14
- 韩国林业厅将部署 74 套 Starlink，实测下行 162 Mbps — XFreeze · 2026-10-14
- ThunderSyncRL:无策略陈旧前提下把Agentic RL提速1.9倍 — heghbalz · 2026-10-14
- Agent 单位成本半年降九成，乐观派回应 Bloomberg 算力成本飙升论 — sudoraohacker · 2026-10-14