TheZvi 长文警告:让 AI 自动化做对齐研究是最危险计划
TheZvi · x · 2026-10-08
Zvi Mowshowitz 发布长文《The Curve Bends You》,批评当前 AI 行业的对齐路线规划。
核心论点:
- 自 Transformer 出现之前,业内就警告:让 AI 自己去做「对齐作业」、把对齐流程自动化,几乎是最危险的选择。对齐问题极其复杂,与世界的方方面面深度交织,即使模型善意且功能上已对齐,也极难做对。
- 错误会被链条逐级放大——你会精确得到你优化的东西,而不是你想要的东西。作者称此为「never go full RSI」。
- 他概括行业当前的「计划」为三步:先解决表层问题、以运营卓越对齐当前 AI;再让当前 AI 自动化完成对齐研究(即「????」这步无人知道怎么实现);然后享受成果。他直言「这算不上最糟的计划,但也接近了」。
作者略感欣慰的是,多数人至少意识到这至多是个糟糕透顶的计划。
「漫话AGI」频道最新
- MediaCloud 数据佐证：1600+ 媒体对幻觉报道正在减少 — _FelixSimon_ · 2026-10-08
- Pew 研究员观察：关于 AI 幻觉的讨论正在明显降温 — _FelixSimon_ · 2026-10-08
- 幻觉话题正在降温？Pew 研究员观察与 Felix Simon 的讨论 — _FelixSimon_ · 2026-10-08
- AI 客服体验趋近完美，作者总结：从机会到落地平均滞后 2.5 年 — JensHonack · 2026-10-08
- 「语言空间被永久污染」：读者时刻警惕 AI 文本的疲惫感 — moonsandhues · 2026-10-08
- Minerva 作者曾预测 AI 2026 年夺 IMO 金牌，正在应验 — GarrisonLovely · 2026-10-08