开发者用 421M 小模型做工具调用风险路由,Q8_0 下单次仅 12ms
looselyhuman · reddit · 2026-11-21
Pi 的开发者正在构建 Auto 模式:对工具调用做两段式推理检查。第二段用 Qwen 3.5 4B 做升级/判断,约 150ms/次(仅触发升级时调用);第一段需要一个更快的小模型判断调用是否危险(删除、凭据访问、外发传输等)。
当前测试 Laya 421M:输入工具名+参数,标记风险操作,Q80 量化跑在 3080 上约 12ms/次。小回放集上捕获 24/24 个受监控危险调用,但也误报 4/6 个良性读取(包括一次含 rm -rf 的搜索)。作者征求同类小模型推荐。
「编程与Agent」频道最新
- 开发者吐槽 Antigravity 体验不佳,更怕接入 API 会被封号 — jeremyphoward · 2026-11-21
- Rubrik 发布 AI Agent 安全手册:15 个真实事故与防御方案 — TheTuringPost · 2026-11-21
- 实测用语音对话几分钟让 Gemini 生成可用应用 — LinusEkenstam · 2026-11-21
- 开源 agent 记忆插件 mnemos:自主决定记什么、不用即淡忘 — RileyRalmuto · 2026-11-21
- 实证研究:LLM 进化搜索选出的程序,3 次实验有 2 次过不了独立验证 — Unusual-Spot-5846 · 2026-11-21
- 屏幕录制+语音经 MCP 喂给 Claude,UI 动效迭代提速 — Different_Scholar_74 · 2026-11-21