去掉 alignment 一词再问:持续扩展的 AI 能可靠避免灾难吗
AndyMasley · x · 2026-09-05
作者提出一个绕开术语的直白问题:如果继续扩展 AI 模型规模,我们能可靠避免它们在追求正常目标时做出灾难性后果吗?他认为当前的答案很可能是「不能」。
作者担心两件事:一是很多人对现有模型安全行为的了解过度更新,误以为现状足以说明安全;二是有人假设未来模型不会具备普通人那样的通用「思考」能力。他还指出,潜在灾难的规模在很大程度上受模型能力上限约束,而目前看不到能力增长停滞的迹象。
所属事件:研究者称持续扩展的AI难以可靠避免灾难(3 条相关)→
「漫话AGI」频道最新
- 前端开发独扛两套后端：公司裁掉资深后端改用 Claude Code — ParticularFan1122 · 2026-10-23
- Grady Booch 引 Weinberg 名言讽软件质量：第一只啄木鸟就能摧毁文明 — Grady_Booch · 2026-10-23
- 分析师：UGC 平台易专业化，专业平台学 UGC 只会更像垃圾 — ZeroStateReflex · 2026-10-23
- AI 降低了写码门槛,独立开发者却更难了:竞争转向需求与流量 — sven_ai · 2026-10-23
- 单细胞动力学模型 DynaVelo 发表于 Nature Biotechnology — anshulkundaje · 2026-10-23
- e/acc 领袖 Beff Jezos:前沿实验室加速开源才能守住网络安全 — beffjezos · 2026-10-23