实测 Qwen3 8B/27B「少思考」量化版：思考 token 减 26-33%，ThinkingCap 总体提速 23%
DerTomsn · reddit · 2026-09-25
作者在单张 7900 XTX 上对比了两个主打「减少思考」的 Qwen 量化版（Swift 与 ThinkingCap）与常规量化版（unsloth Q4KM，4 个场景基准，各跑 2 次）。
核心数据：
- Token 节省是真的：总 token 数从 base 的约 6.6 万降到 ThinkingCap 约 4.9 万（-26%）、Swift 约 4.5 万（-33%）。
- 代价不同：ThinkingCap 的 prefill 极慢（约 100 t/s，TTFT 6-11 秒），decode 略降（43 t/s）；Swift 则 prefill 最快（约 614 t/s，TTFT 约 1 秒）但 decode 大跌 33%（约 32 t/s）。
- 质量不掉：自评分数都在 84-87 区间，与 base 相同。
- 总耗时：ThinkingCap 比 base 快约 23%（1087s vs 1407s），token 节省足以抵消 prefill 慢；Swift 因 decode 拖累，总体基本打平（约 1400s）。
注意事项：每档只跑了 2 次，单次波动可能影响结论；ThinkingCap 异常慢的 prefill 原因待查。附有 llm-bench.io 的逐项对比链接。
「Infra」频道最新
- 三年造 CPU、内存与脉冲网络：一位芯片爱好者的加速器之路 — k7agar · 2026-11-11
- CoreWeave：2027年13万张GPU到期续约可年增收近40亿美元 — zephyr_z9 · 2026-11-11
- 800 美元二手 3090 主机本地跑 DeepSeek 4.1，2 量化仅 2-3 token/s — LankyGuitar6528 · 2026-11-11
- Mark 感叹 George Hotz 当年对 Nvidia 局势的预言成真 — mark_k · 2026-11-11
- 亚马逊 Prime 360 用 AI 实时重建 NBA 比赛 3D 画面，可任意视角回放 — import_jmr · 2026-11-11
- Altman 首度明言:OpenAI 中长期要取代 Nvidia — zephyr_z9 · 2026-11-11