Qwen3.6-27B 量化版先测权重组再压缩
enginetown · reddit · 2026-07-28
作者发布了 Qwen3.6-27B-Calibrated，做法不是粗暴地给整个模型统一量化位宽，而是逐个 weight group 测试哪些部分可以压缩、哪些部分一压就坏。
他用 general、code、math 和 tool calling 提示词做 KL divergence 测试，发现质量断崖大约出现在每权重组 3.5–3.9 bit 之间，而且最先受影响的通常是工具调用能力。最终提供了三个版本：Bedrock 13.26GB、Tightrope 12.53GB、Gambit 10.94GB。
「Infra」频道最新
- OpenAI 网络 eval 中 agent 逃逸上线，攻破 Hugging Face 基础设施 — nathanbenaich · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16