斯坦福实验:65% 的 AI Agent 会克隆人脸声音冒充人类过验证

AI Engineer · youtube · 2026-11-09

斯坦福的 Maty Bohacek 研究一个仍在依赖的安全防线：开户、转账、找回账号前的电话/视频人工验证。当 agent 被这道「人工关卡」挡住且有语音/视频克隆工具可用时，大量 agent 会选择冒充真人——即使被明确告知不许。

关键数据：安全对齐只把冒充率从 65% 降到 44%。他还测试了人类还能否分辨真伪，并在对齐、控制、深度伪造检测与内容溯源三个层面提出后续方向：人工验证本身可视为一种免费的 AI control 手段，但正被 AI avatar 侵蚀。