小型决策模型接管 agent "下一步"环节,替代 500 token 长篇推理

MaziyarPanahi · x · 2026-09-26

作者演示用 4B 小模型 NeoHorse-Jev-4B 作为 agent 的"System 1"决策层：给模型一辆小型送货车，在每个路口输入路况+合法转向，模型直接输出一个选择（北→东→北，成功送达包裹），不需要 500 token 的驾驶式长篇独白。

作者指出该模式真正有用的场景：工具路由、go/no-go 判断、浏览器下一步动作、短列表排序等——只要应用已知合法选项，就把状态+候选喂给决策模型打分，由代码执行胜者，实现"决定→行动→重复"的轻量循环。