论文称 AI Agent 设计正把人类挤出监督回路

Rachel Thomas(Fast.ai 联合创始人)于 10 月 17 日连发多条帖子,推荐 Margaret Mitchell、Avijit Ghosh、Samir Passi 的 arXiv 立场论文《AI Agents Push Humans Out of the Loop》(arXiv:2608.2364),核心结论是:现行 AI Agent 设计正在把人类挤出监督回路,而「人类在环」(HITL)本身并非解药。

已确认

• 论文批评当前系统下「用户批准未经真正审阅的计划、接受未经独立评估的理由、为无法预知后果的行动背书」。
• Rachel Thomas 转述论文观点:现行 agent 设计「以 agent 为中心」,系统按自己的方式向用户展示处理过程;而有效监督要求「以用户为中心」,用户必须能够理解并保持注意力。
• 论文警告,被当作「事后补充」设计的监督者会出现技能退化、直觉生锈、警觉性下降、过度依赖、认知负债乃至「认知投降」——这恰恰侵蚀了监督本身所需的能力。
• 她主张把人类监督者的认知支持当作 AI 系统的「一等公民」来设计。

为什么重要

该论文直接质疑业界普遍依赖的 HITL 监督模式:如果监督者因系统设计而能力退化,形式上的「人在环」无法提供实质安全保证。这为 agent 安全与可监督性讨论提供了新的批评框架,强调监督有效性取决于以用户为中心的界面与认知支持,而非单纯在流程中插入人类。

2026-10-17 ~ 2026-10-17 · 5 条相关

• 【源头】arXiv 新论文:AI Agent 正把人类「挤出回路」,HITL 并非解药 — math_rachel · 2026-10-17
• 论文:有效监督要求以用户为中心,而非以 agent 为中心 — math_rachel · 2026-10-17
• Mitchell 等论文:现行 AI Agent 设计正把人类挤出监督回路 — math_rachel · 2026-10-17
• 论文警告:HITL 监督者正出现技能萎缩与认知依赖 — math_rachel · 2026-10-17
• 【源头】Rachel Thomas：把人类监督者的认知支持当作 AI 系统一等公民 — math_rachel · 2026-10-17