社区作者量化 Qwen3.8 草稿模型：单张 5090 显存省 2.6 倍、上下文 90K 提至 130K
QuixiAI · x · 2026-08-30
- 开发者 nb4ld 在 Hugging Face 发布首个模型 Qwen3.8-27B-DFlash2-NVFP4-RTNcal：对 Qwen3.8-27B 的 DFlash 2 块扩散投机解码草稿模型做校准 NVFP4（W4A4）量化，采用 NVIDIA ModelOpt 布局，SGLang 原生加载。
- 面向单张 RTX 5090（32GB）部署：草稿模型显存从 3.53GB（BF16）降至 1.37GB，KV-cache 上下文从 90K 提升至 130K tokens（+44%），端到端解码速度持平甚至略升（215→228 tok/s），接受率 3.71→3.60（噪声 ±0.2 内视为持平）。
- 输出质量不变：目标模型会验证每个草稿 token。未校准的 round-to-nearest 量化接受率明显掉至 3.26，说明校准很关键。
- 还在 SGLang 源码树上跑了带工具调用的编码 agent 长上下文基准，各上下文档位解码速度与 BF16 持平。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16