safeagents 支持插入决策模型:仅审可疑调用,本地小模型即可胜任
yb2698 · x · 2026-10-29
safeagents 默认基于规则检查,也可通过一个简单参数把任意决策模型 API 接入循环做强检查。
- 为何适合决策模型:反馈快——模型只输出简短 JSON 判决(allow/block 加一句话);且只审规则已标记为可疑的调用,干净调用零成本。
- prompt 精简且防绕过:只包含用户请求、工具调用和 atif-scan 发现,模型看不到 Agent 的推理或工具输出,Agent 无法靠争辩骗过检查,本地小模型即可胜任。
所属事件:safeagents 新增决策模型接入与 log-only 观察模式(2 条相关)→
「编程与Agent」频道最新
- Synap 登顶 LongMemEval：95.6% 答案准确率背后的优化思路 — arpit_bhayani · 2026-10-29
- 449 万笔转账图上做最小割冻结骡子账户,顺手抓出 FalkorDB max-flow bug — JeremyCMorgan · 2026-10-29
- 开发者自曝从第一天就「危险绕过权限」用编码 Agent — brandon_galang · 2026-10-29
- Ultracode 不是更强思考档,而是把任务拆给子代理的工作流 — jacob_posel · 2026-10-29
- 用 Cursor 项目当「模型路由器」：一行指令让 Grok bot 切换 Opus — bfrench · 2026-10-29
- 开源 ComfyUI 电影制作应用 Director's Cut 发布 — oLeonardoFrito · 2026-10-29