开源代理 stuntd：记录应用小决策并训练本地模型，90% 问题免费作答
Inevitable-Log5414 · reddit · 2026-09-23
开发者发布开源项目 stuntd（Apache-2.0），解决一个生产环境痛点：应用向 LLM 发的大量请求并非生成文本，而是小型封闭决策——选哪个队列、是否紧急、是否安全、五选一。每个调用都付费给托管模型并不划算。
stuntd 的工作流程是一个本地代理：
- 应用照常通过代理调用原服务商，代理在后台记录这些决策；
- 针对每种决策类型，在开源决策模型 Laya 上训练一个小型分类头；
- 先以 shadow 模式对照服务商答案验证，达到设定的一致率后本地作答，约 20ms 返回，不确定的问题回退给服务商；
- 一致率漂移时自动退回服务商兜底。
它还兼容 Jev 协议（TypeSafe 托管决策模型），Jev 客户端指向 localhost 即可免 key 使用。仓库实测数据：支持工单分流任务与教师模型的一致率从 69/34/66% 提升到 99/86/98%，90% 的问题可本地回答。局限：不支持自由文本生成，也不支持对数字做算术运算的规则。
所属事件:开源代理 stuntd 用本地模型替你回答小决策(2 条相关)→
「编程与Agent」频道最新
- 阿里发布 Qwen 全栈手机智能方案，荣耀 Magic 9 率先搭载 — AIFlow_ML · 2026-09-23
- Ahrefs 全线翻倍 API/MCP 额度：瓶颈已从写代码变成拿数据 — ayushtweetshere · 2026-09-23
- 完整 iOS 应用交付成本降到 20 美元 — bindureddy · 2026-09-23
- 开源 PostMCP：把 OpenAPI 规格压缩 99% 变成省 token 的 MCP 服务器 — Abraveram · 2026-09-23
- Specula 开源:用 TLA+ 规约让编码 agent 挖掘分布式系统深层 bug — tianyin_xu · 2026-09-23
- 多模型 Agent 路由怎么设计：能力、成本、延迟冲突下的实战问题 — Rama_Surasani_ · 2026-09-23