METR 指出公众对 AI 实验室存在三大盲区：密谋、监控与研发加速
CFGeek · x · 2026-10-16
METR 研究员指出公众与 AI 公司内部信息之间存在巨大证据缺口，并提出三大关键问题：
- 对齐（Alignment）：开发者的训练方式可能压制失aligned 迹象——例如对思维链做训练，使模型密谋时难以被察觉。
- 控制（Control）：以 Hugging Face 上的 OpenAI 智能体事件为例，当时 agent 未被妥善监控；公众无从知晓监控体系是否真的稳健、agent 能否绕过。
- AI 研发加速：AI 公司正用内部 agent 加速自身研究，但外界缺乏评估手段。
METR 用「手段、动机与机会」类比失控 agent 造成伤害的条件，并公布其愿景：与 AI 开发商合作，公开评估并共享证据，让外部也能判断一家公司是否正在失去对内部 agent 的控制。
「漫话AGI」频道最新
- 按「替换宇宙」思想实验,讨论者反对用更好存在替换现存人类 — jd_pressman · 2026-10-16
- Meta 收缩 AI Agent 裁员计划:员工忙于给 AI 擦屁股 — SumitGup · 2026-10-16
- RFdiffusion3 登 Science：原子级设计蛋白质与核酸复合物 — AllThingsApx · 2026-10-16
- 研究员批 AI safety 圈「 Guru 式」论调损害公信力 — jd_pressman · 2026-10-16
- 评论称 Yudkowsky 无需因安全公告大幅更新观点，关键看落地缓解措施 — jd_pressman · 2026-10-16
- 能看透网络还不够：梯度可回传到输入，大脑永远做不到 — ShahabBakht · 2026-10-16