4B 决策模型替代大模型做 agent 选择，成本降 81-89% 还快 2.5 倍

alex_verem · x · 2026-10-19

与上一条同源的 JevAgentHarness 论文推荐帖：研究者把 agent 的多选式决策（选工具、决定是否停止等）交给开源 4B 模型，仅在不确定时调用大模型。

要点：类似训练数据的任务成本降 81-89%、快至 2.5 倍，成功率差距 3 点内；小模型中位响应 31ms 对比大模型 809ms；孤立测试 92.2% 的最高分模型在真 agent 中只解出 69.5%，而 4B 模型解出 91.5%，超过其老师 Jev（82.0%）——差异源于从 agent 犯错后的真实状态中训练。局限是编程 agent 仅省 7-10.5%，规则突变时成功率崩至 3%。