Qwen3.8-27B PrismaAqua量化实测：性能逼近BF16
offgridai · reddit · 2026-08-18
作者测试了Qwen 3.8 27B的5.5-bit PrismaAqua量化版本，主要针对工具调用、商业推理和投资分析等特定工作负载。在RTX 5090上使用vLLM进行测试，结果显示该量化模型在自定义测试套件中表现接近BF16全精度版本，工具调用准确率达95%。作者发现设置"medium"级别的推理比"xhigh"更有效，能避免过度思考导致的Token超限问题，同时维持高质量输出。文章还分享了具体的vLLM启动参数。
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测：4B 性价比最佳，27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言，入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16