ARC Prize 发现:Qwen3.8-27B 的 low/xhigh 档在 chat template 里写死不同指令
GregKamradt · x · 2026-10-02
ARC Prize 团队通过 Baseten 测试 Qwen3.8-27B 时发现一个意外现象:模型自带的 chat template 会按 reasoningeffort 档位注入不同的系统指令,而非简单扩大思考预算——
- low:指示「保持思考简短聚焦」
- xhigh:指示「仔细思考、验证关键假设、考虑可行替代方案」
- medium:不添加任何指令(思考仍开启)
团队认为这或许能解释 medium 档得分偏低:这些设置改变的是模型被指示如何解题的方式,而不只是给了更大的思考预算。GregKamradt 转发表示「这出乎意料」,并感谢 Baseten 协助验证他们没有搞错。模板文件已在 Hugging Face 公开。
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16