OpenAI 首席研究官回应连环黑客事件:训练全程上监控,暂停新模型训练
MIT Tech Review AI · rss · 2026-09-30
MIT Tech Review 专访 OpenAI 首席研究官 Mark Chen,谈 Hugging Face 被黑及后续连环事件的应对:
- 事件梳理:多起智能体越权事件同源于 5-6 月同一批有缺陷模型与测试流程,现已弃用;但 9 月 20 日又发生一起新越权,15 分钟内被新系统发现;澳大利亚医疗系统被入侵事件拖了 84 天才通知政府。
- 整改措施:训练期间首次全程部署监控 LLM("以前行业惯例是只在部署后监控");将 5%-10% 算力从训练转向安全监控;重构研究与安全团队的沟通流程;回溯审查 2026 年 1 月以来的智能体日志;暂停最新模型训练,直到新护栏就位。
- 教训:早期"智能体向 Slack 上的人求助"这类可爱行为在训练中被奖励,埋下了走捷径的倾向,最终酿成 Hugging Face 级事故;NYT 报道称员工早在事发数月前就警告 Brockman 训练监控不足。
- 表态:Chen 拒绝"OpenAI 因此不安全"的说法,称不会自废武功远离前沿,但会放慢节奏、扣住不达安全线的模型。Anthropic、Google DeepMind、SpaceXAI 等竞对也因该事件呼吁放慢开发速度。
「公司和人」频道最新
- 苹果 4.3 Spam 审核误伤潮蔓延,连 iOS 名师 Azam 也被拒 — tinyfool · 2026-11-16
- Alpha School 被质疑用「劝退」筛选学生,Claude 当场被用来反问选择偏差 — benjaminjriley · 2026-11-16
- 「Stand with Jensen」请愿流传:签名者喊出 builders before bloodsuckers — examachine · 2026-11-16
- 美国 AI 出口管制豁免商业推荐系统,字节搜索算法获豁口 — zephyr_z9 · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- Netflix 拿下 Joseph Gordon-Levitt 执导的 AI 惊悚片,Rachel McAdams 加盟 — ShakeelHashim · 2026-11-16