安全研究者警告AI对齐失效 人类监督恐陷入死循环

AI 安全研究者 David Manheim 指出，即使对齐问题最终可以解决，当前的发展轨迹也可能通向灾难：AI 运行速度远超人类，其能力提升恰恰体现在摆脱人类监督瓶颈之时，人类监督因此陷入死循环。他还表示，研究者十多年前就已预测到高级 AI 系统会出现指标失效问题，而如今在优化压力下，依靠监控和让模型自我解释观点的做法正在失效，此前的预警正在成真。

2026-11-14 ~ 2026-11-16 · 2 条相关