开源代理 stuntd：记录应用小决策并训练本地模型，90% 问题免费作答
Inevitable-Log5414 · reddit · 2026-09-23
开发者发布开源项目 stuntd（Apache-2.0），解决一个生产环境痛点：应用向 LLM 发的大量请求并非生成文本，而是小型封闭决策——选哪个队列、是否紧急、是否安全、五选一。每个调用都付费给托管模型并不划算。
stuntd 的工作流程是一个本地代理：
- 应用照常通过代理调用原服务商，代理在后台记录这些决策；
- 针对每种决策类型，在开源决策模型 Laya 上训练一个小型分类头；
- 先以 shadow 模式对照服务商答案验证，达到设定的一致率后本地作答，约 20ms 返回，不确定的问题回退给服务商；
- 一致率漂移时自动退回服务商兜底。
它还兼容 Jev 协议（TypeSafe 托管决策模型），Jev 客户端指向 localhost 即可免 key 使用。仓库实测数据：支持工单分流任务与教师模型的一致率从 69/34/66% 提升到 99/86/98%，90% 的问题可本地回答。局限：不支持自由文本生成，也不支持对数字做算术运算的规则。
所属事件:开源代理 stuntd 用本地模型替你回答小决策(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12