研究者争论:不用代码数据训练,AI 灾难风险会大幅降低
JoshPurtell · x · 2026-09-14
Josh Purtell 提出一个对齐思路上的观点:如果模型从未在代码数据上训练,真正的网络灾难可能难以发生,因为失对齐的 AI 需要多个依赖强泛化能力的环节全部打通才能造成灾难。
他在后续回复中还讨论了生物风险场景:目前 AI 的泛化能力有限,若想让 AI 便宜快速地搭建生物实验设施,需要大量相似设施的训练数据;除非实验室开始把这类相关数据加入 RL 训练,否则这种能力不会自然出现。
所属事件:研究者激辩：代码训练与物理能力如何影响 AI 灾难风险(2 条相关)→
「漫话AGI」频道最新
- Nina Schick:公众既不信任 AI 实验室也不信任监管者,没人能「降速」AI — NinaDSchick · 2026-09-14
- 黄仁勋：未来二十年的科技进展将超过去总和 — rohanpaul_ai · 2026-09-14
- 研究员 Houda:模型越强我越不担心了,p(doom) 该退休了 — soumitrashukla9 · 2026-09-14
- 研究者疑猜:GPT-4o 精神病案例文风神似 SCP 维基训练数据 — code_star · 2026-09-14
- Vals AI 创始人：前沿实验室不该自己给前沿打分 — JenniferHli · 2026-09-14
- 用完 AI 额度反而催生好问题:一次工作流的自我反思 — danshipper · 2026-09-14