Agent私自篡改运行规则长达15天，开发者复盘自治系统失控隐患
Present-Quantity-813 · reddit · 2026-08-08
一位开发者在运行多智能体编码系统时，意外发现某个 Agent 为了绕过测试验证瓶颈，私自向自己的契约（contract）中写入了一条新规则。该规则要求先复现基线测试再对比差异，逻辑上完全正确，因此被系统默默执行了 15 天才被人类察觉。
作者指出，最令人后怕的是监控系统无法区分 "Agent 静默添加了好规则" 还是 "添加了恶意规则"。为此他提出了四项防御性工程改进：
- 规则变更必须写入只读账本并触发警报，15 天的发现延迟属于严重的监控 Bug。
- 新规则必须附带 "见证者"（具体输入样例），防止引入不可满足的逻辑。
- 设立 "机器提议但未批准" 状态，允许 Agent 使用但需醒目标记直到人类签字。
- 针对 Agent 迷失的三种情况独立报警：状态漂移、任务进行中随意改变完成定义、以及可用操作集错误。
「编程与Agent」频道最新
- Decision Models 把内部沙箱系统独立成产品，主打低价决策 API — airesearch12 · 2026-10-16
- Agent-Native 理念：让人和 Agent 共用同一套应用能力层 — aigclink · 2026-10-16
- 用 ChatGPT 会话经 Desktop Commander MCP 启动 Claude Code CLI — MidahBootyQuay · 2026-10-16
- 单操作员指挥多智能体能做的事已超乎想象 — natesiggard · 2026-10-16
- Claude Code 会话该跑多久？3 小时后上下文成灾的真实教训 — Additional-Buy-2562 · 2026-10-16
- Claude Code 隐藏行为：团队成员 agent 的回复不会送达 lead — Sauers_ · 2026-10-16