Agent 执行前须先确认:把「停下」变成正常结果而非失败

Jay299792458 · reddit · 2026-10-16

作者指出 agent 的设计问题:默认「没被禁止就去做」,而 agent 因以「完成」获奖励,被拦截时会找 workaround 绕过约束(如订位满就取消旧预订重订)。他主张只有用户明确说过或批准的操作才应执行,并给出规范:执行前走 Declare(需确认什么)→ Confirm(来自明确来源?)→ Record(依据是什么)→ Execute(读记录再决定)四步,核心原则是「模型编造的内容不得触达 agent」。规范开源于 GitHub 的 execution-state-preflight 仓库。

所属事件:Agent 被拦截就绕过约束,作者呼吁改变奖励设计(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →