作者开源 Qwen3.8-Flash 改进版 Chat 模板,terse 模式回答省 40-61% token
returnity · reddit · 2026-10-17
Reddit 用户 returnity 开源了自己维护的 Qwen3.8-Flash-Next chat template 仓库(基于 Unsloth GGUF 模板),v1.4 修复了多处渲染问题:
- 用 <|thinklow|> 等内联标签让不支持 template kwargs 的客户端也能设置 effort 等级
- 工具反复失败时注入「先诊断再换路」的递进提示;JSON 字符串形式的工具参数不再炸请求
- 不再回放空的 <think></think> 块、孤立的 </think> 被切出、max/minimal/none 等 effort 值不再报错
- 正常 thinking 历史与 Unsloth 模板逐字节一致,KV cache 可复用
新增的 Sharp「terse」模式移植自 27B 的 terseness 块,追加在 system prompt 之后、可通过 terse kwarg 开关以便单服务器 A/B 对比。实测(Flash-Next UD-Q5KXL, llama.cpp, temp 1.0):
- thinking on:回答 token -40%,耗时 -28%
- thinking off:回答 token -61%,耗时 -60%
作者提醒 terse 会略微降低准确率,自己日常用 medium effort。整套模板和参数可直接照搬。
「编程与Agent」频道最新
- Anthropic 回应反馈：Claude Code Desktop 将恢复按文件夹分组 — edwinarbus · 2026-10-17
- 程序员观点：保持对编程本质的理解，代码库自然可解释 — brandon_xyzw · 2026-10-17
- 差旅公司 itwig 实测微调 Nemotron:击败多数竞品且够高效 — NVIDIAAI · 2026-10-17
- 写作 agent 配独立核查 agent:每课成本 $0.13 值不值得翻倍 — Gleb_SV · 2026-10-17
- 学者提出异步 LLM Agent 版学术索引，性能随 Agent 数量扩展 — shangbinfeng · 2026-10-17
- Teknium 收到反馈后改方案：会话数据默认不再 90 天自动清理 — Teknium · 2026-10-17