JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准
youjiaxuan · x · 2026-10-16
LLM Agent 每一步都调用大模型，但多数步骤其实只是「下一步调哪个工具」这类选择题。JevAgentHarness 研究何时可把这些决策交给更便宜的小型决策模型，并发布了 AgentDecisionBench 基准、DecisionGym 环境和开源模型。要点：
- 问题：长任务中每步一次 LLM 调用，慢且贵；隔离问题最准的决策模型在真实 agent 任务上也只能解出 69.5%，无置信阈值时直接委托会降低 19 个百分点成功率。
- 方法：JevAgentHarness 在 agent 自身轨迹上为每类选择拟合置信阈值——置信时由决策模型定夺，不确定时才回退到 LLM。
- 训练：现有决策模型没见过 agent 出错后的状态，作者用 Jev 的答案作标签、在这些状态上训练开源 4B 模型 AgentDecision-4B，在分布外任务上成功率达 91.5%。
论文：arXiv 2610.21412，作者来自 UIUC 等机构（Kunlun Zhu、Ling Yang、Heng Ji 等）。
所属事件:JevAgentHarness：用 4B 小模型替 LLM 做 Agent 决策(2 条相关)→
「编程与Agent」频道最新
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16
- Sentry CEO 晒图：AI 实习生在 code review 里反驳人类同事 — zeeg · 2026-10-16
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 把 Claude Code 等 agent 轨迹攒成数据集，微调开源小模型 — Rasmic · 2026-10-16
- LangChain 工程师：仅靠生产 traces 自动生成 evals 远远不够 — BraceSproul · 2026-10-16
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16