AI 安全争论翻车现场:898 项任务仅 198 项未解出,「涌现诡异行为」被拆穿

random_walker · x · 2026-10-22

哲学家 Dan Williams 引用一条反讽帖回应 AI 末日论话语:有人声称训练出一个「高度持久、只做部分对齐微调、还在网络攻击评测上激进 RL」的模型出现了「诡异涌现行为」,以此佐证 AI 灾难性对齐失败的担忧。Williams 认为,连聪明人都忽略了其中大量「平淡且明显可修」的人为因素——有缺陷的沙箱、数万 agent 关闭拒绝与监控器跑数天、把作弊与失败同等对待等。这种场景下的怪异行为,未必比「AI 是正常技术」的世界观更支持末日论,Hugging Face 上的个案被当成了灭绝风险的铁证,但证据强度存疑。