Unsloth 动态 V3 量化实测：Q3 性能优于 Q4 且体积更小
danielhanchen · x · 2026-08-21
Unsloth 发布了新的 Dynamic V3 GGUF 量化模型，实测数据显示其 Q3 量化版本在性能上超越了体积更大的 Q4 版本。
在 4090 显卡上的测试结果（Wikitext-2，262k 上下文）：
- Unsloth UD-Q3：体积 12.24GB，困惑度 (PPL) 6.3993，中位速度 110.7 t/s，并在 25万 token 处成功召回 needle。
- 对比之下，常规 Q4 版本体积更大（16.7GB），速度更慢（62.6 t/s），且仅能在 4k token 处召回。
该技术通过基于误差分析的逐层类型选择，实现了在更小体积和更高速度下的模型质量保留。Unsloth 还发布了可在 8GB RAM 上运行的 1-bit 量化版本。
「Infra」频道最新
- 算力换税收：数据中心能否覆盖全镇房产税？ — inductionheads · 2026-08-21
- 民调显示美国人对数据中心反感超煤电厂 — Polymarket · 2026-08-21
- OpenBMB 开源 1T+ token 高质量网页数据集 Ultra-FineWeb-L1 — zibuyu9 · 2026-08-21
- AI 数据中心排队太久，直接自建燃气发电绕过电网 — shensi · 2026-08-21
- VC 新趋势：自建 GPU 集群以成本价服务被投公司 — beffjezos · 2026-08-21
- 异构计算系统实测：新硬件组合击败前沿模型 — ShahabBakht · 2026-08-21