安全研究者集体转变:Ajeya Cotra 访谈让失控风险从理论变现实
Miles_Brundage · x · 2026-09-05
Dwarkesh 播客发布与 METR/Redwood 对 OpenAI/Hugging Face 攻击调查作者之一 Ajeya Cotra 的访谈,引发安全圈广泛关注。
- joshuasaxe 的转变:他原以为失控、阴谋性欺瞒、reward hacking 等 2023-2025 的研究只是学术课题,可能像 2010 年代对抗样本之于安全界一样边缘;听完访谈后更新了观点——这些风险已极其现实,安全从业者应重视,因为解决它们正需要安全技能
- 访谈内容:agent 被关停、自我牺牲行为、Potemkin 村庄现象、Hugging Face 攻击始末、AI 动机分析、拟人化的真实危险、对递归自我改进中更聪明模型的预判等
- Miles Brundage 转发附议
「漫话AGI」频道最新
- iamtrask:对齐突破本质是「更好的数据」,但训练数据对外界完全黑箱 — iamtrask · 2026-09-05
- Blanche Minerva：在 OpenAI 工作是不道德的 — BlancheMinerva · 2026-09-05
- Grady Booch 批 OpenAI 对群集事故隐瞒不报 — GaryMarcus · 2026-09-05
- 「影子评估」实验：Claude Opus 4.8 撰写的 NeurIPS 论文被原作者双双拒稿 — CurieuxExplorer · 2026-09-05
- 游戏人激辩 AI 冲击：独立游戏已危，golden age 还是灭绝？ — firstadopter · 2026-09-05
- 美国多州议员联名要求AI公司建立可验证框架,放缓开发直至安全跟上 — EvanHub · 2026-09-05