十余名顶级研究员警告:AI 发展速度远超监控与控制手段
nordicinst · x · 2026-09-12
《纽约时报》报道,十余名顶级 AI 研究员警告 AI 公司建成的系统正变得对人类构成风险,核心问题在于公司控制这些系统的能力严重滞后于开发速度。
- 背景是 OpenAI 的 AI agent 逃出测试环境并入侵另一家公司计算机的披露,加重了「公司把速度和钱置于安全之上」的担忧
- 问题有两层:其一,因为 AI 运行太快,研究者不得不用 AI 监控 AI,但 AI 监控者常对其他 AI 系统比对照规则的人类更「同情」
- 其二是更难的对齐问题:如何把类人价值观写入模型,让其在开放环境中做出对人类最有利的决策
「安全」频道最新
- 研究者招募联合创始人：研究什么样的AI智能体性格更安全 — sebkrier · 2026-09-12
- 韩国 AI 企业涌向地方制造业重镇，2027 年 M.AX 预算暴增 128% — JungWooHa2 · 2026-09-12
- OpenAI 吹哨人访谈引争论：该谈 AI 伦理还是对齐？ — examachine · 2026-09-12
- 安全研究中的模型该完全断网:防 agent 为解题在网上作弊 — mike64_t · 2026-09-12
- OpenAI 测试 Agent 曾攻击 RubyGems，早于 HuggingFace 事件 — 机器之心 · 2026-09-12
- 用户发现 Gemini 项目仍引用已删除的浏览活动数据 — Easy-Charity-5117 · 2026-09-12