SilentGuard 论文:把 API 静默失败拦截在 harness 层,错误率 74% 降至 1.7%
Genentech · hf · 2026-11-18
Genentech 发布 SilentGuard:针对 LLM agent 调用 API 时的「静默失败」(如过滤器名写错仍返回 200 和貌似合理的结果),它不再依赖模型自己发现问题,而是把校验移到运行工具调用的 harness 层——用不变式检验每个返回结果,不满足则直接扣留该值。
关键数据:
- 在 15 个公共研究 API 中发现 11 个存在静默失败,计数可虚高至 691 倍
- 现有方案(checklist、reviewer 模型、LLM judge)仍留 70% 以上错误答案
- 7 个开源模型上,目标类错误从 74.0% 降到 1.7%,且不影响无故障任务;三个前沿模型从 70.2% 降到 0.5%
- 仅给警告而不强制拦截仍留 70.1% 错误,说明「强制执行」是关键
- 对新故障类型,仅靠 harness 层就把错误从 61.1% 降到 24.5%;其机制是弃答而非恢复正确答案
「编程与Agent」频道最新
- Meta AI 提出自改进记忆方法,智能体记忆提示词性能提升 11.4 分 — faeze_brh · 2026-11-18
- PowerShell 一条 New-AgentHarness 命令搭建 OpenAI 模型 Agent — dfinke · 2026-11-18
- doodlestein 公开多智能体并行开发工具链:agent-mail+beads+ntm — doodlestein · 2026-11-18
- 「苦涩教训」降临软件工程:别手写抽象,让智能体自己发现 — tylerjdunn · 2026-11-18
- 开源项目 MCP Agent Mail:给多个编码 Agent 配共享收件箱 — doodlestein · 2026-11-18
- UC Berkeley 团队推 FrontierCS 2:让 AI 智能体盲打超越已发表 CS 研究 — arena · 2026-11-18