4B 决策模型接管 agent 日常选择,成本降 14.2% 任务零失败
dair_ai · x · 2026-10-18
UIUC/普林斯顿/Google 团队论文提出 JevAgentHarness:LLM agent 大部分调用其实落在多选题式决策上(选哪个工具、传什么参数、是否停止),可用远小于 LLM 的决策模型处理。
核心做法
- 蒸馏出开源 4B 决策模型 AgentDecision-4B,训练标签主要来自 Jev 在 agent 自身状态上的答案,并专门纳入 agent 犯错后到达的状态
- harness 对每步常规决策先交决策模型,置信度超过按 agent 自身轨迹拟合的阈值才采纳;低于阈值回退到 LLM
结果
- 用拟合阈值后,工具与参数级联在 500 个任务上削减 14.2% 成本且无一任务结果改变;固定阈值 0.5 则损失 21.5 分
- 在与训练数据不同的任务上,配 AgentDecision-4B 的 agent 解决率 91.5%,直接用 Jev 为 82.0%;在熟悉任务上便宜 81.1–89.0%、最快提速 2.5 倍,且不掉 3 分以上
- 决策模型在隔离问题上准确率仅 69.5%,无阈值委派会使成功率掉 19 分,说明「何时信任决策模型」是关键
模型与 harness 将开源。
所属事件:JevAgentHarness:4B 小模型接管 Agent 决策,成本降 14.2%(3 条相关)→
「编程与Agent」频道最新
- Perplexity 开源 SPACE:每个 agent 任务独立 Firecracker 微虚拟机 — AravSrinivas · 2026-10-18
- 单张 L4 GPU 跑 20 路低延迟马拉雅拉姆语语音 Agent 的完整架构 — DistrictUnique5259 · 2026-10-18
- Claude Code mods:用事件钩子拦截危险 shell 命令预览删除效果 — EricBuess · 2026-10-18
- fchollet:agent 已写约100%代码,但公司利润并未因此增长 — fchollet · 2026-10-18
- 实测 Browser MCP Defense 规则:成功拦截外部 Codex agent 工具调用 — HankYeomans · 2026-10-18
- Lambda 欧洲 Build-a-Claw 黑客松落幕:两大 Agent 项目夺魁 — TheZachMueller · 2026-10-18