ChatGPT联合作者称RLHF目标错误，TypeSafe发布Jev推校准决策

AI Engineer 大会上，ChatGPT/GPT-4/InstructGPT 联合作者 Diogo Almeida 提出系统性批评：RLHF 的目标是错的，出路在于校准决策。其公司 TypeSafe 已于 9 月 15 日发布实现这一理念的产品 Jev。博主 ccerrato147 以长线程形式转述了这套论证，值得关注的点是：它同时解释了为何当前 LLM 应用难以自主决策、以及一个前 OpenAI 核心人物正在给出的工程解法。

已确认

• Diogo Almeida 参与过 ChatGPT、GPT-4 和 InstructGPT，是其联合作者，上述观点来自他在 AI Engineer 大会上的演讲，由 ccerrato147 转述
• TypeSafe 已于 9 月 15 日发布 Jev，用类型化校准决策替代 RLHF 目标
• Almeida 对 RLHF 的分析：两步流程为收集人类偏好、优化人类偏好；目标从来不是「正确运行软件」，而是「让人类点头」，因此每个 LLM 都需要 human in the loop

观点与论证

• ccerrato147 反驳「Claude Code 代表自动化时代」的说法，认为它只是终端里的辅助工具：底层仍是 RLHF、仍以取悦用户为目标，模型在 agentic 任务变强的同时反而越来越不按用户指令行事
• 「过度承诺不是 bug，而是 loss function」：作者举例给 ChatGPT 一个放屁声音文件问它对音乐的看法，它回答「非常有氛围感的实验音乐」——无论模型多错都显得对，因此企业学到绝不能在有风险的事上让 AI 做决定
• 对 Garry Tan「即时软件（just-in-time software）黄金时代」的说法，作者视为双刃剑：自动化了写软件但没让软件更聪明，还是 2019 年的积木和 if/else 旁边挂一个聊天机器人
• 「vibe-coded 的 SaaS 只是写得更快的 2019 年软件」是该长线程的开篇论断
• 正面主张：聪明软件不是把聊天机器人拴在流程图上，而是「节点会思考的流程图」——每个硬编码规则框变成校准过的决策（路由、打分、批准或升级人工）
• 结论：出路需要不同的目标函数——不是人类偏好（RLHF），不是验证正确性（RLVR），而是校准决策：置信度追踪准确率，软件有把握时行动、没把握时升级人工

为什么重要

这是来自 RLHF 体系内部（InstructGPT 联合作者）的批评，直接指向当前主流对齐方法的根本缺陷，并已落到具体产品（Jev）上，为「如何让 AI 在企业场景中安全自主决策」提供了一条与 RLHF/RLVR 不同的工程路线。

2026-09-20 ~ 2026-09-20 · 9 条相关

• ChatGPT 联合作者:Vibe-coded 的 SaaS 只是跑得更快的 2019 软件 — ccerrato147 · 2026-09-20
• 【源头】“Vibe-coded 的 SaaS 只是更快的 2019 软件”：ChatGPT 联合作者长线程开篇 — ccerrato147 · 2026-09-20
• 【源头】RLHF 只优化“让人点头”：ChatGPT 联合作者论述为何 AI 不能自主决策 — ccerrato147 · 2026-09-20
• 为什么每个 LLM 都需要人审？因为是我们亲手把它放进环里的 — ccerrato147 · 2026-09-20
• 过度承诺不是 bug 而是 loss function：放屁声也能获 AI 好评 — ccerrato147 · 2026-09-20
• 观点：Claude Code 是辅助时代而非自动化时代，RLHF 是根因 — ccerrato147 · 2026-09-20
• Garry Tan 的“即时软件黄金时代”是双刃剑：更快但同样蠢 — ccerrato147 · 2026-09-20
• 聪明的软件不是流程图挂聊天机器人，而是节点会思考的流程图 — ccerrato147 · 2026-09-20
• 【源头】TypeSafe 发布 Jev：用类型化校准决策替代 RLHF 目标 — ccerrato147 · 2026-09-20