Qwen 3.8 移植 3.6 的 ThinkingCap LoRA:思考 token 从 33k 降到 20k
CapsAdmin · reddit · 2026-08-17
有用户把为 Qwen 3.6 训练的 ThinkingCap LoRA 直接加载到 Qwen 3.8 上测试。由于 3.6 和 3.8 架构相同,LoRA 技术上可以套用,而有限测试中它确实「某种程度上有效」。
测试用经典的「生成骑自行车的鹈鹕 SVG」提示词,固定相同提示与种子,对比四种设置:xhigh、xhigh + rank64 LoRA(缩放 30)、xhigh + 原版 LoRA(缩放 1)、medium。结果显示 ThinkingCap LoRA 把思考 token 从约 33k 压到约 20k,输出质量感觉相当但细节略少;加大 LoRA 强度 token 进一步下降但质量受损。medium 只用约 3500 token,但质量明显下降,ThinkingCap LoRA 恰好落在两者之间。
作者还写了个 Python 脚本调用 llama-cli 并把输出导出为 HTML,且把日志、对话轮次、启动参数和脚本本身都嵌进 HTML 文件以保证可复现。他不确定这是真有效果还是只是变相削弱了模型,希望社区验证,并猜测直接 merge 可能效果更好。
「模型」频道最新
- LLM-as-a-Verifier 让 Nemotron 3.5 超 Terminal-Bench 提 9 分 — simonguozirui · 2026-10-16
- Bonsai 2 三值小模型实测:4B 性价比最佳,27B 一个技能意外掉链子 — cephaloform · 2026-10-16
- Meta 多语言 ASR 覆盖 1600 种语言,入选 TIME 2026 最佳发明 — AIatMeta · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- 用户吐槽 ChatGPT 越来越多 bug:扩展失效、Computer Use 反复索要权限 — sytelus · 2026-10-16