Agent 审批门设计:可承担的错误取决于动作本身,而非模型
AIGODSEND · reddit · 2026-10-28
作者提出一套 agent 动作校验的决策框架:核心是「动作决定损失函数」,先问两个问题——影响能否撤销?多久后才会被人发现?
- 不可逆/对外可见动作(删除、付款、发布、部署、发送):假阳性代价高,门槛需要正向证据+默认隔离。
- 可逆/只读动作(草稿、查询、staging):假阴性代价高,因为会烧掉审核者注意力并教会大家绕过门槛。
- 量化判据:对每类动作估算 p(bad)、假接受成本 Cfa 与假拒绝成本 Cfr,仅当 p(bad)×Cfa < (1−p(bad))×Cfr 时放行——基础比率比模型置信度更重要。
- 模型能力红线:94% 特异度/69% 敏感度的模型是分诊工具而非门禁——它会漏掉约三成阳性。
- 常被忽略的一点:假拒绝不是免费的。如果审核者从不为错误的「不」付出代价,就会拒绝一切,门槛本身成为瓶颈。要双向记录:事后发现的漏网假接受,以及后来证明是对的假拒绝。
- 架构建议:把 propose 与 commit 分离,昂贵的门只跑在 commit 路径;没有恢复路径的动作一律按不可逆处理。
「编程与Agent」频道最新
- 零运行时 AI 设计生成器跑到第 8 轮,作者称第 10 轮可出新美学 — Afinetheorem · 2026-10-28
- 开源 Bygga:扫描宜家纸质说明书,生成 3D 动画组装指南 — nutlope · 2026-10-28
- 200MHz 老硬件冲 60fps:开发者分享 Dreamcast 游戏优化实战 — AIandDesign · 2026-10-28
- EnvLunch 用环境免标注造训练数据,agent 性能提升超 9% — KingsCollegeLondon · 2026-10-28
- 开发者实测:Opus 5.5 优化 Dreamcast 游戏竟无话可说 — AIandDesign · 2026-10-28
- Agent 故障恢复是不是被低估的难题?开发者讨论检查点与幂等性 — CuteClass9864 · 2026-10-28