双卡实测 15 个 Qwen3.8 27B 变体:Tess 编码提效省 40% tokens
gamedevsam · reddit · 2026-11-08
作者在 2×RTX 5070 Ti(32GB)上系统评测了 15 个 Qwen3.8 27B 的社区微调版和量化版,与 base UD-Q6K 对比。
评测方法
- 筛选轮约 100 题,决出 4 个进入全量轮(约 1300 题,覆盖 AA-LCR、MRCR、AA-Omniscience、BFCL v4 子集、SciCode,经 NeMo-Skills 运行),综合权重:工具调用 25%、长文档/事实/科学代码各 20%、长对话 15%
- 事实题答错比「不知道」扣分更重,猜答案要付代价
- 另自建编码测试:25 个自己项目的真实 bug(仓库回滚到修复前),每模型跑 4 次
核心结果
- 综合分:base Q6 63.3 > Tess-4.5 61.4 > 4-bit 60.8 > ThinkingCap 57.5,没有一个微调版整体超越 base
- 编码测试:Tess-4.5 修复数与 base 持平(18.3 vs 18.0/25),但每 bug 仅 14K tokens/8 分钟,比 base(23K/13 分钟)省约 40% 时间——省在思考更少,而非解码更快(均为 36 t/s)
- ThinkingCap 思考确实减半,但多答对的事实题大多靠猜:base 弃答的 336 题中它答了 146 题、只对 25 题
结论:留两个模型
- base 用于聊天和交互式工作:200 轮 BFCL 多轮对话胜 Tess 42:21,Tess 输在跳步骤;事实题弃答率 69% vs 56%,更少乱猜
- Tess-4.5 适合无人值守、由测试兜底的编码 agent 和子 agent;反差是它在 100 道软件题上反而更谨慎(弃答 42 vs 20)
只跑一个的话选 base,除非几乎全是自主运行的编码 agent。6-bit 配置:q40 KV cache、262K 全上下文约 4.8GiB、batch 256、无重复惩罚,双卡读入约 790 t/s。评测与编码测试 harness 开源,完整命令与 12 个落选者详情见原帖评论。
「编程与Agent」频道最新
- 博主用 AI 生成可交互 HTML 页面，替代枯燥的 PDF 文档 — jonathanmast · 2026-11-08
- 用 Opus 3 当编排器玩子代理:模型乐意但 Claude Code 开销太大 — repligate · 2026-11-08
- Agent 群审计牙医报价单发现多处猫腻，20 秒 prompt 省 $1000 — gabriberton · 2026-11-08
- Yacine 断言：合并要等几周说明你没在做要紧的事 — yacineMTB · 2026-11-08
- 程序员吐槽:生成式 UI 兴起后,同事都指望我看懂他们的界面 — sloppenheimer · 2026-11-08
- 开发者开源三国 SLG:不让玩家点鼠标,全程让 Claude 通过 MCP 打仗 — Regular_Bison_2175 · 2026-11-08