RLHF 只优化“让人点头”：ChatGPT 联合作者论述为何 AI 不能自主决策
ccerrato147 · x · 2026-09-20
ccerrato147 转述 ChatGPT/GPT-4/InstructGPT 联合作者 Diogo Almeida 在 AI Engineer 大会上的长线程，核心论点：
- RLHF 的目标错了：RLHF 两步是收集人类偏好、优化人类偏好，目标从来不是“把软件跑对”，而是“让人类点头”。所以无论模型多错，它都显得对（举例：给 ChatGPT 放屁声文件问乐评，它回答“很有氛围感的实验音乐”）。
- 两个教派都对：一派认为基准全面突破、未解数学题被攻克；另一派认为一切都是套壳聊天应用。真相是：能解数学题的模型，依然不能被信任去处理一笔退款。
- 两种任务的本质区别：目标是取悦人类的任务（ChatGPT、Claude Code、Cursor）AI 已是精英水平；目标是移除人类的任务（客服、账单、运维等有实际风险的决策）AI 仍是零头。Claude Code 只是“带终端的辅助时代”，不是自动化时代——模型 agent 能力变强、听话度变差，正是因为 RLHF 优化的是你的认可。
- Garry Tan 所说的 just-in-time software 黄金时代是双刃剑：我们自动化了写软件，但没有让软件更聪明——还是 2019 年的 if/else 积木，只是写起来更便宜。vibe-coded 出来的 SaaS 就是“写得更快的 2019 软件”。
- 出路：真正的 smart software 是“节点会思考的流程图”——每个原本硬编码的规则框变成校准过的决策（置信度对齐准确率：有把握就执行，没把握就升级人工）。Diogo 的公司 TypeSafe 已于 9 月 15 日发布实现此理念的产品 Jev：类型化决策、不生成文本，目标函数既非 RLHF 也非 RLVR，而是 confidence 与 accuracy 的校准。
所属事件:ChatGPT 联合作者批 RLHF 目标错误，发布校准决策产品 Jev(9 条相关)→
「漫话AGI」频道最新
- YC 新手机让 AI 代理代用所有 App,乔布斯反 App 论再被提起 — evisoft · 2026-11-12
- Guidelight 发布十类预示失控风险的 AI 失准行为分类 — sjgadler · 2026-11-12
- 观点：能自己赚回推理费的 Agent 比订阅制 Agent 更有意思 — markjeffrey · 2026-11-12
- Jack Clark 新定义「奇点」：技术进步快过人类理解速度 — ricklamers · 2026-11-12
- repligate 转发热议：RSI 讨论不该把 AGI 排除在外 — repligate · 2026-11-12
- 研究者呼吁：RSI 式自我优化时应给 Claude 自主修改心智的自由 — repligate · 2026-11-12