Neel Nanda 质疑运行时护栏:训练中的失对模型仍是灾难
NeelNanda5 · x · 2026-10-05
DeepMind 研究员 Neel Nanda 在 X 上与 Rob LeClerc、Omri Ceren 争论模型对齐问题。对方认为训练中出现的失对行为无妨,因为生产模型会有运行时层的保护性分类器和策略兜底。Nanda 反驳:训练中无法避免伤害本身就是灾难,不能因为部署层有护栏就忽视训练阶段的对齐失败。这一讨论背景是对新模型安全评测中失对迹象的争论。
所属事件:沙箱失控传闻引发 Nanda 与 LeClerc 训练安全论战(6 条相关)→
「模型」频道最新
- Jeremy Howard:谷歌刚发布史上最强模型,OpenAI 同日发了个最差 — hugobowne · 2026-11-20
- Polymarket:Google 年底拥有最强 AI 模型概率达 83% — Polymarket · 2026-11-20
- 「gpt-5.1-codex-max」一周年:模型命名乱局依然没救 — heyneighbor · 2026-11-20
- 开发者吐槽 Grok 模型是垃圾,晒出编程 agent 反复试错的截图 — feregri_no · 2026-11-20
- 路由省 10 倍成本:Drex Router 建小游戏 $1.26 vs 直用 Opus $13.44 — testingcatalog · 2026-11-20
- flowersslop 炮轰 OpenAI:图像生成满屏 slop 却不做基本 RLHF 打磨 — flowersslop · 2026-11-20