开发者用 421M 小模型做工具调用风险路由,Q8_0 下单次仅 12ms

looselyhuman · reddit · 2026-11-21

Pi 的开发者正在构建 Auto 模式:对工具调用做两段式推理检查。第二段用 Qwen 3.5 4B 做升级/判断,约 150ms/次(仅触发升级时调用);第一段需要一个更快的小模型判断调用是否危险(删除、凭据访问、外发传输等)。

当前测试 Laya 421M:输入工具名+参数,标记风险操作,Q80 量化跑在 3080 上约 12ms/次。小回放集上捕获 24/24 个受监控危险调用,但也误报 4/6 个良性读取(包括一次含 rm -rf 的搜索)。作者征求同类小模型推荐。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →