AI 自主风险 2023 年预测复盘：agent 化与无人监控全中

davidmanheim · x · 2026-09-03

作者复盘自己 2023 年关于 AI 自主风险的预测。错的两处：把危险时点高估到 2028 年（实际更接近 2027），并以为危险评测会被物理隔离（air-gap）。判对的地方包括：LLM 会通过 harness 被广泛用作 agent；这些系统将拥有显著自主性，且往往无人监控、无人审查日志；人们会在低估风险的情况下做出危险操作；至少部分 AI 公司会试图阻止不受控的自主 agent 部署；误用风险与自主性风险的边界会很模糊。作者认为整体判断不幸言中。