「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计
Efistoffeles · reddit · 2026-10-27
一篇长文探讨 AI 自动化真正的隐患——不在失业，而在「留在环里的人」。作者用经典自动化研究论证：人类在环 ≠ 安全。
- 自动化的讽刺（Bainbridge 1983《Ironies of Automation》）：自动化越好，人练习越少，却仍被期望在罕见故障时接管。Agent 对 99 次，你第 100 次就不会真读了。
- 审批疲劳：一天点 50 次「同意」，重要那次也会被条件反射地放行。
- 乘法数学：每步 95% 正确率，10 步链路整体只剩约 60%——长流程 demo 里没事、周二实战翻车的原因。
- 正确设计：可撤销的操作放手让 agent 做，只在不可撤销步骤（发送/删除/支付）上问，且每次询问要一屏可读、5 秒能懂。
- 两个对照案例：LetsFG（订机票酒店的开源 agent）把风险收在唯一的购买审批一步，作者用它订了 $2.5k+ 的家庭旅行；Coinbase AgentKit 给 agent 独立加密钱包且 README 明言「不设人工审批、不限额、不白名单」，安全完全靠自己搭——连官方示例都给每笔转账加人工审批，说明他们自己清楚危险在哪。
「漫话AGI」频道最新
- Venkatesh Rao 新文:学会驾驭你自己的大脑 — jger15 · 2026-10-27
- 老工程师回望手写代码时代:AI 接管后,新生代再也体会不到这些时刻 — bendee983 · 2026-10-27
- Luiza Jarovsky：AI 系统不是也永远不会是我们的朋友 — LuizaJarovsky · 2026-10-27
- 投资人 Lex Sokolin：当 AI Agent 替你选银行，品牌好感失效 — LexSokolin · 2026-10-27
- Reddit 网友判断:OpenAI 和 Anthropic 都在压着最强模型不发 — shadowt1tan · 2026-10-27
- OpenAI 转向支持加州 SB 53 安全法, Anthropic 公开安全整改截止日期 — Comfortable_Gene5180 · 2026-10-27