arXiv 新论文:AI Agent 正把人类「挤出回路」,HITL 并非解药
math_rachel · x · 2026-10-17
Rachel Thomas 推荐 Margaret Mitchell、Avijit Ghosh、Samir Passi 的立场论文《AI Agents Push Humans Out of the Loop》(arXiv:2608.23642)。
核心论点:
- AI agent 自主性不断提升带来重大风险,业界通行解法是「human-in-the-loop」监督,但这并非简单方案。
- 现行 agent 设计方式不仅妨碍有效的人类监督,长期使用 AI 系统还会退化监督所需的认知能力本身。
- 作者主张:agent 发展应把「监督者的情境目标与认知需求」提到与模型能力同等优先级,并结合自动化与人机交互研究给出设计层面的 affordances 与组织流程,支持监督者行使批判性判断、对抗技能萎缩。
- 警告:若不显式支持人类认知需求,agent 系统将持续被动地 incentive 化其所依赖的人类技能的退化。
所属事件:论文称 AI Agent 设计正把人类挤出监督回路(5 条相关)→
「漫话AGI」频道最新
- 作者反驳「模拟必然性」：P(模拟生成)=50% 却自认身处模拟很反直觉 — AaronBergman18 · 2026-10-17
- 模拟论证与睡美人问题的惊人对应：Third 判据≈必然身处模拟 — AaronBergman18 · 2026-10-17
- tszzl:神经网络生来可读,机械可解释性正迎来科学革命 — basedjensen · 2026-10-17
- 从恩格斯停谈判 AI:提效不等于创造价值,薪资滞后六十年 — oran_ge · 2026-10-17
- Anthropic 观察者：对齐的解法应像科学问题一样可检验 — inductionheads · 2026-10-17
- 可解释性研究员：Mech Interp 可能净伤害世界，对齐远比想象难 — ArthurConmy · 2026-10-17