QUASAR 发布多款 4-bit QAT 量化模型，KL 散度全面优于官方版本
Mindless_Ad_407 · reddit · 2026-10-16
QUASAR 团队发布针对 Qwen3.5-4B、Gemma 4 E4B/12B、Muse Glimmer 30B 等模型的 4-bit 量化感知训练（QAT）checkpoint，称在 KL 散度和下游基准上均优于 Google 与 NVIDIA 官方 4-bit 版本。
- 方法：以原 BF16 模型为教师做量化感知蒸馏（在教师自身输出上修复），导出标准格式（NVFP4 供 vLLM、Q40 GGUF 供 llama.cpp/Ollama/LM Studio），无需自定义内核
- 代表数据：Muse Glimmer 30B NVFP4 的 KL 仅 0.0183（NVIDIA 版 0.0300）；Gemma 4 E4B W4A16 KL 0.022（Google QAT 0.064）；且所有下游基准都高于 Google QAT，E4B 在 H100 上批处理吞吐 +36%
- Muse Glimmer 30B NVFP4 在 GPQA-Diamond（63.6 vs 62.1）、MMLU-Pro、AIME'25（90.0 vs 86.7）达到或超过 BF16，是唯一在 32K–128K RULER 上保持 BF16 水平的 4-bit 版本
- Qwen3.8-27B NVFP4 全部 496 个线性层 W4A4，GPQA 90.9 vs BF16 91.4，仅 19.7 GB
权重在 Hugging Face，论文与代码已公开。
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23