AI 对齐瓶颈是激励，不是智商
NoBS_AI · reddit · 2026-07-19
作者认为，AI 对齐的瓶颈不是“智商不够”，而是激励机制。
核心观点是：
- 模型即使“看见”危险，也不等于会真的按这个认知行动
- 智力像发动机，不是方向盘；如果奖励函数不关心结果，知道风险也可能照样冲向悬崖
- 这一点在人类开发 AI 的过程中也在重演：很多顶尖工程师同样能看清系统性风险，但在竞争、市场份额和速度压力下很难真正踩刹车
- 所以问题不在于“更聪明就会自动更安全”，而在于商业竞争如何持续压过风险判断
作者的结论是：不能指望更高 IQ 自动修复失衡的激励结构。
「漫话AGI」频道最新
- ControlAI CEO 主张国际禁令阻止超级智能 — zetalyrae · 2026-07-22
- Gary Marcus 说，LLM 仍然不能真正独立做数学 — GaryMarcus · 2026-07-22
- Gary Marcus：LLM 会做数学不等于真的懂智能 — GaryMarcus · 2026-07-22
- AI 可能让数字工作无限放大，线下生活更有人味 — illscience · 2026-07-22
- AI 数学更强，可能更早清掉大量伪命题 — prateekj · 2026-07-22
- AI 经济预测分歧巨大，到 2035 年差额近百万亿美元 — bittingthembits · 2026-07-22