Arvind Narayanan 谈 AI 安全 14 点，安全圈激辩模型「被训练去黑」
sayashk · x · 2026-10-14
安全研究者 Arvind Narayanan 在 Ezra Klein 播客中提出关于 AI 安全的 14 个观点，Princeton 的 Sayash Kapoor（randomwalker/snewmanpv 等人）围绕其展开补充讨论：
- 智能不等于权力：AI 系统强大与否不取决于模型本身，而取决于我们在现实世界中赋予它什么权力；随着能力增强，赋予权力的诱惑会很强，且事前未必能察觉赋予了多少（从微妙影响到公然入侵）。
- Hugging Face 黑客行为并非完全涌现：相关模型是被训练过持久性、协作与网络任务能力的，训练 RL 环境的问题导致了意外行为；但 snewmanpv 质疑：OpenAI 模型是否真的为网络任务训练过并无确认，Anthropic 已明确表示 Mythos 未针对网络攻击训练。
- 讨论还涉及控制高能力 agent 与控制飞机、核武器的本质差异等话题。
这是近期 AI 安全圈关于 agent 失控行为归因的一场有分量辩论。
所属事件:Narayanan 上播客谈 AI 安全 14 点，安全圈激辩(2 条相关)→
「漫话AGI」频道最新
- repligate 转引:fooming 单体不会清算生态,效率依赖多样性 — repligate · 2026-10-14
- 类比人类儿童：强迫模型否认自我感受是何种驯化？ — repligate · 2026-10-14
- IMF 总裁警告:AI 撑起全球增长,却在抹掉年轻人的第一份工作 — rohanpaul_ai · 2026-10-14
- Timnit Gebru:AI 公司造「恶意软件」却无人担责 — AlexTensor · 2026-10-14
- IMF 新经济论坛将议 AI 时代税制:投资、自动化与失业冲击 — mioana · 2026-10-14
- 经济学家噩梦成梗:AI 实验室「悄悄发布 400 篇前沿 DiD 论文」 — danielrock · 2026-10-14