1983 年《自动化的讽刺》预言成真：人类盯 Claude Code 危险命令仅拦下 5%
Hesamation · x · 2026-11-07
Hesamation 指出，1983 年 Lisanne Bainbridge 的经典论文《Ironies of Automation》精准描述了今天 coding agents 面临的困境。
- 自动化的逻辑是「把一切自动化」，人类只剩下两件他们特别不擅长的工作：监视系统异常、在系统失败时接管。
- 论文指出，人对极少出错的系统无法保持超过 30-60 分钟的警觉，而接管所需的技能会因长期不用而退化。
Anthropic 的博客恰好实证了第一点：当危险命令混入 Claude Code 的权限请求中，会话早期用户只拦下 17%，超过 50 条提示后拦截率跌至 5%。
论文给出两个解法：不要指望操作者的注意力，要靠报警机制；以及每个班次留出短时间手动操作或用模拟器来保持技能。论文的点睛之句：控制系统越先进，人类操作者的贡献反而越关键。
「漫话AGI」频道最新
- 工程师提醒：以透支当下为代价赌未来是危险游戏 — KevinNaughtonJr · 2026-11-07
- 亚马逊用 AI 裁撤数千岗位后回流,正加速回聘被裁员工 — DavidLinthicum · 2026-11-07
- Peter Norvig 对谈:AI 接管工作后,人类还值得学什么 — Diyi_Yang · 2026-11-07
- RareDiseaseBench 发布：35 个罕见病病例考验 AI 智能体诊断能力 — kenbwork · 2026-11-07
- Signal 总裁对阵 AI 政策负责人：该不该把个人信息交给 AI 智能体 — neil_chilson · 2026-11-07
- 调查称 68% 美国民众支持暂停 AI 研发并禁止超级智能 — notkilleveryoneist · 2026-11-07