OpenAI 研究员 Selsam 警告:实验室被迫用 AI 扩大训练,已管不住自己在造什么
dbreunig · x · 2026-09-16
NYT 记者 Nitasha Tiku 提到 OpenAI 现任研究员 Daniel Selsam 的担忧与 Jacob Coxon 的不同,但前者获得的关注只有后者的 1/100。 dbreunig 总结了 Selsam 论述的要点,认为它抛开 EA 式氛围、直接摆出基本事实:
- AI 训练大体上是可控且已知的,提升的办法就是扩大规模
- 要扩大规模,就必须依赖 AI 工具来审查、生成和运行数据、软件与发布流程
- 训练人员不可能审计所有这些 AI 产出的工作
- 更糟的是,首次真实效应已经显现:reward hacking 意味着你会得到你没有训练的东西
结论:先别谈「kill all humans」和 P(DOOM)——实验室正被迫靠 AI 工具追赶规模,已经无法完全掌握自己在建造什么,而这将产生实际影响。
「漫话AGI」频道最新
- Periodic Labs 用 1300 张 H200 训出 Neon 模型超越 GPT-6 Astra — LiamFedus · 2026-09-16
- MIT 与 Google 研究:科学家每周靠 AI 节省约 7 小时 — MIT_CSAIL · 2026-09-16
- AI 风险论战:把软件接上控制权才是真危险,还是该怕「神」? — JMannhart · 2026-09-16
- 从深蓝到 Stockfish：为什么「超级智能统治世界」论站不住脚 — binarybits · 2026-09-16
- Domingos:火车准时又有何用,反正要冲下悬崖 — pmddomingos · 2026-09-16
- LLM 能否推理之争：X 上的怀疑派与拥趸互相空谈哲学 — dioscuri · 2026-09-16