前沿学者警告：封闭 LLM 自我训练或致系统性错觉
NandoDF · x · 2026-10-18
AI 学者 Nando de Freitas 发长文论证「封闭前沿 LLM 是危险的」。
他指出主流后训练方法（基于结果奖励的 RL）让预训练基座模型在最终答案验证器判 correct 时，反复在自己的思维链（CoT）上训练，用于 STEM 推理、编码乃至伦理对齐——各种算法权重不同，但共同点是都在强化 CoT。
核心风险论证：模型在自己生成的数据上训练、却无法区分「哪些是别人的数据、哪些是自己写的」，会引发错觉（delusions）。他用类比说明：如果你在餐巾纸上写下「Kevin 不友好」后散步回来、忘了是自己写的，这条信息反而会被强化——区分自己与他者的能力对安全至关重要。观点附其相关研究链接。
所属事件:DeepMind 学者警告结果奖励 RL 或使封闭 LLM 产生系统性错觉(2 条相关)→
「漫话AGI」频道最新
- 教授炮轰 AI 代写论文:「一个 prompt、零智力贡献、独占全部署名」 — CSProfKGD · 2026-10-18
- 从 Goodfire「神经网络已是干净的」引申:能否用 VSA 超向量做免训练持续学习 — RepresentativeRice63 · 2026-10-18
- 科技圈老手观察:外界不懂技术有多快,圈内不懂世界有多慢 — arieljalali · 2026-10-18
- 决策理论辩论:AI 复制分裂即价值漂移,CDT+GT 失去先验最优性 — jessi_cata · 2026-10-18
- 「AI 是一个地方」:数据中心的水、电与矿产正在侵蚀现实世界 — relic_radiation · 2026-10-18
- 引用量 Top30 AI 学者出生地：欧盟 12 人居首，美国 8、中国 5 — Impossible-Humor-182 · 2026-10-18