分离式量化:Prefill 与 Decode 各用最优格式,1-bit 精度涨 32 分
ISTA-DASLab · hf · 2026-09-29
ISTA-DASLab 提出「分离式量化」(Disaggregated Quantization, DQ):LLM 推理的 prefill 与 decode 两个阶段收益点不同——低精度算术加速 prompt 处理,紧凑权重减少生成时的内存流量——于是为两阶段分别专门设计计算格式、权重与存储布局。
关键结果:
- 在 Qwen 3 和 Gemma 3 上,仅去掉 decode 阶段的激活量化即可提升 decode 密集任务精度,且不增加推理成本
- 单独训练计算原生的 prefill 权重,配合 2-3-bit decode,在 prefill 与 decode 密集任务上均持平或超过 weight-only 推理
- 基于已发布的 Qwen3.8-27B GGUF 解码器训练 NVFP4 prefiller,1-bit 精度在 MMLU-Pro 提升 32.5 分、MMMU-Pro 提升 35.3 分,且不改 decode checkpoint
- 为在单卡装下额外 checkpoint,提出 offloaded disaggregated prefill(ODP),从 SSD 流式加载权重并在 prompt 长度上摊销;27B 模型在 8K prompt 下 llama.cpp 首 token 时间加速 1.78 倍
- 在 vLLM 中评估分离式服务精度,并通过后训练量化在最高 2.8T 参数模型上验证共享权重格式分离
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16