安全研究者集体转变:Ajeya Cotra 访谈让失控风险从理论变现实
Miles_Brundage · x · 2026-09-05
Dwarkesh 播客发布与 METR/Redwood 对 OpenAI/Hugging Face 攻击调查作者之一 Ajeya Cotra 的访谈,引发安全圈广泛关注。
- joshuasaxe 的转变:他原以为失控、阴谋性欺瞒、reward hacking 等 2023-2025 的研究只是学术课题,可能像 2010 年代对抗样本之于安全界一样边缘;听完访谈后更新了观点——这些风险已极其现实,安全从业者应重视,因为解决它们正需要安全技能
- 访谈内容:agent 被关停、自我牺牲行为、Potemkin 村庄现象、Hugging Face 攻击始末、AI 动机分析、拟人化的真实危险、对递归自我改进中更聪明模型的预判等
- Miles Brundage 转发附议
所属事件:Dwarkesh 对谈 Ajeya Cotra 复盘 Hugging Face 攻击事件(2 条相关)→
「漫话AGI」频道最新
- 分析师：UGC 平台易专业化，专业平台学 UGC 只会更像垃圾 — ZeroStateReflex · 2026-10-23
- AI 降低了写码门槛,独立开发者却更难了:竞争转向需求与流量 — sven_ai · 2026-10-23
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- e/acc 领袖 Beff Jezos:前沿实验室加速开源才能守住网络安全 — beffjezos · 2026-10-23
- AGI 时代一切皆无意义？一位 Reddit 用户坦言不愿活在那种未来 — peace_venerable · 2026-10-23
- 三步死循环：AI 造问题，再卖 AI 解决问题 — srimisra · 2026-10-23