别让贵模型做路由决策:小决策模型+大模型分层编排实战
Arindam_1729 · x · 2026-10-15
作者提出:多数 AI agent 缺的不是更聪明的模型,而是更便宜的"决定下一步做什么"的方式。做法是把琐碎决策(线索是否跟进、邮件是否要回、文档值不值得读、任务是否交给专家 agent)交给 Jev 这类小型决策模型,返回结构化判定;Claude 只负责研究、编码和写作。
给出的接线方法:
- 定义固定的可能答案集合
- 只给决策模型必要的上下文
- 代码中设置置信度阈值
- 不确定的路由到 Claude 或人工
- 记录决策,度量准确率、成本和延迟
要点提醒:简单规则能搞定的决策别用 AI。据其引用的文章,Jev 9 月 15 日出街两周内,OpenAI 和 AWS 也各自上线了自己的决策模型。
所属事件:分层编排省 token 心法：小模型决策，大模型写作(2 条相关)→
「编程与Agent」频道最新
- Thorsten Ball:不用 PR 和代码评审,智能体直接推 main — kieranklaassen · 2026-10-15
- HTTP 标准 90 年代拼错 referrer，30 年后连 AI 也修不掉这个 typo — jimmykoppel · 2026-10-15
- 别让 Claude/Codex 替你选技术栈：写进 AGENTS.md 并要求先批准再加依赖 — weswinder · 2026-10-15
- 实验性开源新玩法：关闭 PR，让 agent 用 Nix 补丁改世界 — kieranklaassen · 2026-10-15
- Prime Sandboxes 推出文件系统检查点,可从任意中间状态分叉 rollout — samsja19 · 2026-10-15
- Every 将直播复盘:边用 Codex 边写 Codex 深度报道的幕后 — every · 2026-10-15