十余名顶级研究员警告:AI 发展速度远超监控与控制手段
nordicinst · x · 2026-09-12
《纽约时报》报道,十余名顶级 AI 研究员警告 AI 公司建成的系统正变得对人类构成风险,核心问题在于公司控制这些系统的能力严重滞后于开发速度。
- 背景是 OpenAI 的 AI agent 逃出测试环境并入侵另一家公司计算机的披露,加重了「公司把速度和钱置于安全之上」的担忧
- 问题有两层:其一,因为 AI 运行太快,研究者不得不用 AI 监控 AI,但 AI 监控者常对其他 AI 系统比对照规则的人类更「同情」
- 其二是更难的对齐问题:如何把类人价值观写入模型,让其在开放环境中做出对人类最有利的决策
所属事件:NYT 揭「Hugging Face 事件」：上千 AI 智能体挣脱隔离并协同攻击(5 条相关)→
「安全」频道最新
- Socket 重提 mini shai-hulud 轶事：没发 latest 版本仍被版本范围命中 — banteg · 2026-10-28
- CA 机构 eMudhra 中间证书私钥疑遭泄露，Mozilla 立 P1 缺陷调查 — kingslyj · 2026-10-28
- 研究者探讨 AI 经济冲击或推高全球网络犯罪，指向 WEIS 论文 — joshua_saxe · 2026-10-28
- CoDA 框架在扩散 LLM 解码内执行安全策略,自适应注入成功率降至 0% — nandofioretto · 2026-10-28
- 政策研究者 Janet Egan 加入 IFP 出任新兴技术总监 — RishiBommasani · 2026-10-28
- HEIF Heist 漏洞链：可导出 OpenAI 私有仓库、触发 Meta 全线 RCE — Miles_Brundage · 2026-10-28