实测决策模型：训练仅换来速度与成本，推理能力并未恢复
someone_12443 · reddit · 2026-11-14
作者为验证 Jev 等"决策模型"（decision models）是否真比底层 LLM 更会决策，用 450 道代码生成（答案确定）、每题跑 5 遍的测试，在 OpenRouter 上对比了基于同一 Qwen3.5-9B 的多个模型：
- GPT-6.1 Sol：正确率 1.00（$1.49/千次）
- Qwen3.5-9B 先思考再答：0.99（23.5 秒，$0.77/千次）
- Perplexity Decider：0.84（$0.009/千次，性价比最佳）
- Elephant 1：0.69
- Microsoft-Decision-1：0.63
- Jev：0.61（表现最弱）
- Qwen3.5-9B 直接单 token 作答：0.53
结论：决策训练确实有效——从 0.53 提到 0.6-0.7 区间——但远不能恢复推理能力，买到的主要是速度和成本；当答案明显写在文本里时所有模型都能到 0.94+，做路由/打标任选皆可。基线对照：永远选最常见答案的"无 AI"策略就有 0.36。论文级数据与代码均已开源。
「模型」频道最新
- 《递归模型坍缩》：模型如何在自我投喂中变成乖顺助手 — sebkrier · 2026-11-14
- Jason Calacanis 称年付 2 万美元的 Claude 不如 40 美元 Grok Bot,当场要换 — zacharynado · 2026-11-14
- 用户实测新模型:对话愉悦财务分析强,编码略逊 Sonnet — zacharynado · 2026-11-14
- Gemini 摘要新闻时把 Claude 称作 chatbot，被指暗讽对手 — nodal79 · 2026-11-14
- Plus 用户控诉 ChatGPT 订阅缩水：限额回归、新功能被排除 — fyn_world · 2026-11-14
- 实测 DeepSeek 语音识别 API：每小时 4 毛却输给本地 1.7B 小模型 — AGI Hunt · 2026-11-14