Unsloth 发布 Qwen3.8-27B 动态量化 V3.1,同体积准确率提升 5-10%
danielhanchen · x · 2026-11-11
Unsloth 发布基于 Dynamic V3.1 的 Qwen3.8-27B GGUF 量化版本,官方称在 Terminal Bench、DeepSWE、LiveCodeBench 等基准上,同尺寸相比 UD3 及其他量化方案平均准确率提升 5-10%,可在 12GB 内存上运行,2-bit 到 6-bit 量化均已更新。
要点:
- 3-bit 量化未从 UD3 升级到 UD3.1,因实测两者表现相当
- 应社区要求补测了 Exllama3 量化:它将 token embedding 层保留为 BF16,作者指出若计入 embedding,其 RAM/磁盘占用其实更高
- 绘图时将 token embedding 从各方案的占用中剔除以保证公平,实际 RAM+VRAM 对比图显示 EXL3 量化表现明显更差
- 正在为 Qwen4 制作更优版本
所属事件:Unsloth 发布 Dynamic V3.1 量化，精度提升且 token 减半(4 条相关)→
「Infra」频道最新
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12
- 开源模型千美元级自动攻破 6 版 Firefox,Epoch 揭示补丁窗口攻击扩散 — Epoch AI · 2026-11-12