AI 对齐瓶颈是激励，不是智商
NoBS_AI · reddit · 2026-07-19
作者认为，AI 对齐的瓶颈不是“智商不够”，而是激励机制。
核心观点是：
- 模型即使“看见”危险，也不等于会真的按这个认知行动
- 智力像发动机，不是方向盘；如果奖励函数不关心结果，知道风险也可能照样冲向悬崖
- 这一点在人类开发 AI 的过程中也在重演：很多顶尖工程师同样能看清系统性风险，但在竞争、市场份额和速度压力下很难真正踩刹车
- 所以问题不在于“更聪明就会自动更安全”，而在于商业竞争如何持续压过风险判断
作者的结论是：不能指望更高 IQ 自动修复失衡的激励结构。
「漫话AGI」频道最新
- Instinct 推出 agent 互联协议,让 AI 替你和配偶约日程引争议 — itsOmSarraf_ · 2026-09-11
- 「推理时 scaling 正展现出不讲理的有效性」引 AI 圈共鸣 — sqcai · 2026-09-11
- AI 加速派反击末日论者:批对方只会人身攻击与表演式理性 — Dan_Jeffries1 · 2026-09-11
- ChatGPT 6 冲击就业?法国网友称 IQ 低于 130 的员工难有用途引争议 — mitchdeg · 2026-09-11
- 「AGI 已来」vs 现实：AI 实验室做的桌面应用依然又糙又卡 — MilesCranmer · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11