小模型接管决策步骤:主模型调用减 29.6%,成本降 26.6%
vivekhaldar · x · 2026-10-13
vivekhaldar 撰文探索「决策模型」架构:agent 流程中很多步骤不需要再跑一次完整的大模型。他用 SOP-Bench 的 360 个案例,搭配一个托管的小决策模型(Jev)处理步骤完成检查和受限选项选择:置信度 ≥0.8 的决策直接接受,不确定的回退给主模型。
在该工作负载上的结果:
- 主模型调用减少 29.6%
- 估算成本降低 26.6%
- 平均延迟降低 19.7%
- 任务正确率 360/360,略高于纯主模型的 357/360
作者认为这一模式今天就有用:给小模型证据和允许的选项、设置信度阈值、把通用大模型留作兜底。他也提醒这些数字还需在更多数据集上复现。
「编程与Agent」频道最新
- RustGIS 上架 PyPI:纯 Rust 打造的快速开源 GIS 可进 Jupyter — giswqs · 2026-10-13
- 歸藏晒 5 个 Claude Skill 存货,从视频剪辑到个人上下文工具 — op7418 · 2026-10-13
- LangSmith 推出 AI Search:用自然语言直接检索 Agent 执行轨迹 — LangChain · 2026-10-13
- 开发者用 Claude 设计 skill 生成大胆品牌概念:铁律是绝不抄袭 — round · 2026-10-13
- 马德里 Kernel Panic 大会爆满，四场生产级 AI 实战演讲 Slides 公开 — SergioPaniego · 2026-10-13
- 用 Hermes Agent 每周自动筛 GitHub 新项目:搜索抓取免费 — prasenx · 2026-10-13