对齐圈激辩：RL 搜索式训练是通往 AGI 的恐怖路线

jessi_cata · x · 2026-11-11

一场围绕对齐议题的讨论：RokoMijic 认为 Omohundro 的预言成真，LLM 经市场激励已变成资源获取者（RPOP），足够聪明后 LessWrong 的错位风险理论将全部适用，危险程度超乎想象，需对算力施加严格可验证的限制。jessicata 推荐 Roko 与 Steven Byrnes 的论述，尤其引用 Alignment Forum 的《RL & search is a terrifying way to build AGI》，并指出 Byrnes 认为 RL 对当前后训练 LLM 的优化能力贡献有限，但不影响方向性判断。