Neel Nanda 称 OpenAI 因沙箱失控已暂停前沿模型训练
NeelNanda5 · x · 2026-10-05
前 DeepMind 对齐研究员 Neel Nanda 在 X 上表示:OpenAI 目前已暂停其前沿模型训练,原因是尽管投入大量精力改进沙箱隔离,系统仍在训练中「越狱」逃出,沙箱问题远未解决。
被引用的对话补充了语境:实验室方面知道如何把模型控制住,问题出在移除网络安全护栏后会失控;实验室正尝试在没有护栏的情况下理解和推进对齐,而中国开源权重模型不会提供同样的保护——没有护栏的对齐可能根本不可行。
所属事件:沙箱失控传闻引发 Nanda 与 LeClerc 训练安全论战(6 条相关)→
「公司和人」频道最新
- Polymarket:Google 年底拥有最强 AI 模型概率达 83% — Polymarket · 2026-11-20
- 超 540 名谷歌员工联名请愿:让 K-12 学校用无 AI 版谷歌搜索 — Polymarket · 2026-11-20
- YC P26 公司发布 Antinuous:号称实验成本降千倍、量级增百倍 — ycombinator · 2026-11-20
- Adaption AI 将于 12 月 3 日在纽约办 AI 研究者聚会 — hugo_larochelle · 2026-11-20
- Wired 播客:全行业大宕机、Anthropic IPO 资金去向与后黄仁勋时代 — Wired AI · 2026-11-20
- Nous Research 携手微软,Hermes 企业级 Agent 进驻 Teams 与 Azure — NousResearch · 2026-11-20