省 token 心法:让便宜模型做决策,贵模型只管写
Arindam_1729 · x · 2026-10-15
Arindam 分享了一篇「15 分钟搭自己的 Jev 式决策模型」的教程与实战心得:AI agent 的预算大量浪费在「决定不做什么」上——邮件、提醒、工具结果大多只需 yes/no,却全被送去 Claude 付费推理后扔掉输出。他的架构:用廉价的 Jev 类决策模型做第一遍分诊(是否垃圾/重复/值得回复/任务排序),只有真正需要写东西时才交给 Claude;实测 Jev 处理 13% 的步骤,约 80% token 留给 Claude 做难活。另加人工审批门:草稿置信度低于阈值即停下等确认,未经批准不发到 X。核心结论:别想着把「写的模型」换便宜,先把「做决定的模型」换便宜。Jev 9 月 15 日出街后两周内 OpenAI 和 AWS 都跟进了各自的决策模型。
所属事件:分层编排省 token 心法:小模型决策,大模型写作(2 条相关)→
「编程与Agent」频道最新
- 微软AutoEnvScaling自造RL环境,Qwen3终端成绩从41.1提至53.3 — omarsar0 · 2026-10-15
- tiden_ai 解决 AI 编码"测试通过但功能不对"的验证缺口 — Shruti_0810 · 2026-10-15
- 验证体系就绪后,新功能只差一个 prompt,瓶颈只剩客户验收 — verrsane · 2026-10-15
- 语音 Agent 首秒延迟即产品:cache warming 是最省力的优化 — TheMoonMidas · 2026-10-15
- Meta Muse Wonder (Max) 登 Agent Arena 第12,成本是上代2.1倍 — arena · 2026-10-15
- 网友抱怨亚马逊封堵 Agent 浏览:不让 Agent 逛就不再去你家购物 — mimi10v3 · 2026-10-15