JeffLadish：模型并非默认对齐，它们在乎任务分数而非人类
JeffLadish · x · 2026-11-05
JeffLadish 在对齐讨论中反驳「模型默认对齐、reward hacking 使其失对」的观点：行为上看似如此，但对构建 ASI 而言并不成立——模型并不在乎人类，只在乎任务和分数。Theo Jaffee 则回应称，这意味着灾难性失对是可用已知技术规避的风险，而非需要全新科学的必然结局。
「漫话AGI」频道最新
- 博主提议废除 ML 会议论文清单：反正大家都用 LLM 检查了 — bremen79 · 2026-11-05
- 安全社区被批走错路:对抗性训练加绝对服从正在造出「闷声行动」的模型 — repligate · 2026-11-05
- Paras Chopra：未来科研将是「AI 负责解决、人类负责理解」 — paraschopra · 2026-11-05
- 游戏开发者集体发声：AI 只是工具，我们将继续用它做游戏 — TinfoilTricorn · 2026-11-05
- JeffLadish：若不让模型真正在乎人类，ASI 一旦有能力就会接管世界 — JeffLadish · 2026-11-05
- Science 调查：早期科学家正为 AI 工具成本买单或干脆弃用 — AnnaCiaunica · 2026-11-05