stuntd：本地 22ms 学你流量的 Jev 兼容决策代理
Inevitable-Log5414 · reddit · 2026-09-23
作者开源了 stuntd（Apache-2.0）：一个本地代理，拦截应用中的「封闭式 LLM 决策」（选择、是/否、打分），用你自己的流量在开源模型 Laya 上训练一个小 head（编码器冻结），先影子模式运行，与付费 API 达到目标一致率后才切换为线上服务，置信度不足时回退到原 provider。
动机与效果
- Jev API 约 380ms 往返且按 token 付费；Laya 本地笔记本 GPU 上约 22ms，但零样本在大标签集上崩：banking77（77 意图）只有 38%（Jev 76%）
- 用流量训练 head 后：Snake 游戏 30 局教学 138 秒训练后自行处理 99.6% 步数；客服分诊问题 90% 本地回答；命令门控（允许/询问/拒绝）从 45% 提到 97% 准确、96% 本地化
限制
- 只学封闭决策，不做自由文本；冻结编码器不会做字段运算——「amount > X」规则得分 0.42，改写成自然语言描述则 0.94
- 每次启动加载 1.6GB 检查点；Anthropic/Responses/Gemini 流量暂时直通
还附带一个 20 行的 PreToolUse hook，在 Claude Code 执行 shell 命令前用本地 commandgate 问询。
所属事件:开源代理 stuntd 用本地模型替你回答小决策(2 条相关)→
「编程与Agent」频道最新
- Plurai 推出 Agent 仿真平台：从代码库构建数字孪生自动找故障 — thisguyknowsai · 2026-11-11
- 0xJeff:x402 的真正短板在企业级,大钱在 B2V 而非机器互付 — 0xJeff · 2026-11-11
- 开发者自建 git 网页应用被 Codex 安全护栏误判为网络安全风险 — brianmichel · 2026-11-11
- 形式化验证让 AI 编码更快：Lean 证明成为 agent 优化护栏 — bigdata · 2026-11-11
- Orchestrator v0.14.11 发布：统一管理散落各处的 AI 编程会话 — julianweisser · 2026-11-11
- DeepSeek 开源编码 agent DSH 登上 HF Harness 榜，五项评测并列第一 — TheZachMueller · 2026-11-11