OpenAI 研究员 Selsam 警告:实验室被迫用 AI 扩大训练,已管不住自己在造什么
dbreunig · x · 2026-09-16
NYT 记者 Nitasha Tiku 提到 OpenAI 现任研究员 Daniel Selsam 的担忧与 Jacob Coxon 的不同,但前者获得的关注只有后者的 1/100。 dbreunig 总结了 Selsam 论述的要点,认为它抛开 EA 式氛围、直接摆出基本事实:
- AI 训练大体上是可控且已知的,提升的办法就是扩大规模
- 要扩大规模,就必须依赖 AI 工具来审查、生成和运行数据、软件与发布流程
- 训练人员不可能审计所有这些 AI 产出的工作
- 更糟的是,首次真实效应已经显现:reward hacking 意味着你会得到你没有训练的东西
结论:先别谈「kill all humans」和 P(DOOM)——实验室正被迫靠 AI 工具追赶规模,已经无法完全掌握自己在建造什么,而这将产生实际影响。
「漫话AGI」频道最新
- AI 安全研究者：AI 公司完全缺乏这类有效的事后人类监督 — davidmanheim · 2026-11-02
- Ыég especial: 长文析 AI 价值在效率之后：Infra 必然过剩，应用层基建正当时 — yangyi · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Sam Altman 断言：AI 已超越顶尖科学家，2026 将是历史转折点 — kimmonismus · 2026-11-02
- DeepSeek 设计文档：一人只能盯 3-5 个 agent 会话，瓶颈不再是模型 — heyshrutimishra · 2026-11-02
- AI 意识研究者:我们没有可靠方法判断 AI 是否有意识 — dioscuri · 2026-11-02