单卡 2 小时训练 4B「小决策模型」,agent 决策准确率 86.5% 超 Jev 1.13

ivan_bezdomny · x · 2026-11-07

开发者 MaziyarPanahi 基于 Jev 公开的 72 万条 agent 决策数据,在单张 GPU 上用约 2 小时训练了一个 4B 的「tiny decider」模型,训练数据中不含任何 Jev 的答案,在从未见过的 trace 上评测:

总体:自训 4B 模型 86.5%,Jev 1.13 为 80.6%,测试集 480 行
分项:agent 工具选择 90.8% vs 82.5%;客服工具选择 86.7% vs 90.0%(Jev 略胜);agent 下一步动作 85.0% vs 74.2%;客服下一步动作 83.3% vs 75.8%

Jev 数据集含 5 个子集、18 亿 token,涵盖工具调用、agent trace、客服、路由与策略检查,每行带来源标注,可让机构自训小模型并把决策保留在本地(如医院场景)。结论:小模型 + 公开决策数据可在 agent 路由/决策任务上以极低成本逼近甚至超过大模型。

「编程与Agent」频道最新