去掉 alignment 一词再问:持续扩展的 AI 能可靠避免灾难吗
AndyMasley · x · 2026-09-05
作者提出一个绕开术语的直白问题:如果继续扩展 AI 模型规模,我们能可靠避免它们在追求正常目标时做出灾难性后果吗?他认为当前的答案很可能是「不能」。
作者担心两件事:一是很多人对现有模型安全行为的了解过度更新,误以为现状足以说明安全;二是有人假设未来模型不会具备普通人那样的通用「思考」能力。他还指出,潜在灾难的规模在很大程度上受模型能力上限约束,而目前看不到能力增长停滞的迹象。
所属事件:研究者称持续扩展的AI难以可靠避免灾难(3 条相关)→
「漫话AGI」频道最新
- Metaculus 杯首次被 bot 登顶：前六名中四个是 AI — NathanpmYoung · 2026-09-05
- 投资人：Computer use 是四年来第四波需求指数级浪潮 — firstadopter · 2026-09-05
- 安全研究者集体转变:Ajeya Cotra 访谈让失控风险从理论变现实 — Miles_Brundage · 2026-09-05
- 回应「封禁超级智能 AI」主张:史上禁令从未惠及人类 — AIandDesign · 2026-09-05
- 「安全研究供给对钱极不敏感」：加大投入也别暂停前沿 — EigenGender · 2026-09-05
- AI 安全圈激辩「非因果感知」：光锥内的奖励其实不算什么 — repligate · 2026-09-05