AI 安全研究者 Andrew Critch：别把灭绝风险称作「自我改进」
AndrewCritchPhD · x · 2026-11-12
AI 安全研究者 Andrew Critch 发长文，主张拒绝 AI 行业把灭绝风险包装成「改进」的话术，并提出更精确的概念框架：
- RSM（递归自我修改）：AI 修改自己或下一代版本（包括其自我修改倾向）。导致人类灭绝的 AI 也在进行 RSM；
- RSI（递归自我改进）：RSM 中修改遵循某种「改进」趋势的子集，而什么是「改进」取决于建造者的价值观——灭绝性的 RSM 对多数人类而言不是改进；
- Runaway RSM（失控 RSM）：脱离人类控制的自我修改，无争议地极度危险；
- RSI 尝试可能失败并退化为 runaway RSM，因此不应把灭绝性发展称为「改进」。
他建议人们抵制这种品牌化话术，并给出针对不同立场（反 AI 公司/支持 RSI）的具体反驳措辞。
「漫话AGI」频道最新
- Lenny 2026 就业报告：PM 岗位暴增，工程需求停滞设计岗创新低 — lennysan · 2026-11-12
- 卫报曝光 AI 末日论小圈子，评论者批其「卡珊德拉」自比过度自信 — DrTechlash · 2026-11-12
- AI Agent 流量两个月暴涨 8 倍，互联网形态或将改写 — Dr_Singularity · 2026-11-12
- Diogo 演讲十句金句:RLHF 是问题的一部分,软件将王者归来 — TheTuringPost · 2026-11-12
- ICLR 审稿「数学平凡」批评失效？AI 能证明一切改变评审标准 — nanjiang_cs · 2026-11-12
- J Neurosci 双方激辩：脑活动基础模型能否真正解释大脑 — patrickmineault · 2026-11-12