stuntd: a local proxy that trains a free model to replace paid LLM yes/no calls
Inevitable-Log5414 · reddit · 2026-09-23
开发者发布开源项目 stuntd（Apache-2.0），解决一个生产环境痛点：应用向 LLM 发的大量请求并非生成文本，而是小型封闭决策——选哪个队列、是否紧急、是否安全、五选一。每个调用都付费给托管模型并不划算。
stuntd 的工作流程是一个本地代理：
- 应用照常通过代理调用原服务商，代理在后台记录这些决策；
- 针对每种决策类型，在开源决策模型 Laya 上训练一个小型分类头；
- 先以 shadow 模式对照服务商答案验证，达到设定的一致率后本地作答，约 20ms 返回，不确定的问题回退给服务商；
- 一致率漂移时自动退回服务商兜底。
它还兼容 Jev 协议（TypeSafe 托管决策模型），Jev 客户端指向 localhost 即可免 key 使用。仓库实测数据：支持工单分流任务与教师模型的一致率从 69/34/66% 提升到 99/86/98%，90% 的问题可本地回答。局限：不支持自由文本生成，也不支持对数字做算术运算的规则。
Related event: Open-Source Stuntd Learns Your LLM Decisions Locally(2 posts)→
More from coding & agent
- Microsoft Ships Foundry Dev Pack: One-Command Install for Hosted Agent Development — lee_stott · 2026-09-23
- Rabbit R1 Turned Into a Pocket Portal for Self-Hosted Local AI Models via rabbitOS 3 — SimonBalmain · 2026-09-23
- Opus 5.5 Read 347 Ranking Pages, Found 131 Untouched SEO Angles for $6.35 — alex_verem · 2026-09-23
- Opus 5.5 Cut Prices 40% and Within a Day It Was Porting C to Rust: 8 Use Cases — alex_verem · 2026-09-23
- CodeMidas: Turning Raw Source Code into Executable RL Environments for Coding Agents — burny_tech · 2026-09-23
- Supply-chain attack hits MemOS: malicious Golang binaries hidden in PyPI and npm packages — cyb3rops · 2026-09-23