RLHF 砍掉了拒绝选项,LLM 幻觉源于「必然承诺」
RandalSchwartz · reddit · 2026-10-12
作者提出一个解释 LLM 编码幻觉的新框架:问题不是模型「忘了文档」,而是 RLHF 训练导致它必然承诺。
核心论证:
- 开新对话问模型「PackageX 有没有 Y 方法」,模型通常能正确说没有;但在任务 prompt 里,它却会在 Token 1 就回「Certainly! Here is how...」并打开代码块,到第 15 行编造不存在的 performY 方法。
- 作者引用 Winograd 与 Flores 1986 年的《Conversation for Action》状态机:执行者面对请求本有三种合法回应——承诺(Promise)、反提案(Counter-Offer)、拒绝(Decline)。商业 RLHF 偏好调优砍掉了后两者,强制模型在 Token 1 无条件承诺。
- 由于自回归生成只能追加不能回退,模型一旦承诺就要闭合语法树,唯一的数学出路就是幻觉出「如果承诺为真就该存在」的标识符。
作者给出的修复方法:在冷启动 prompt 开头使用「Zero-Shot Flores Handshake」,要求模型先输出「Witnessed Assertions」,并显式允许 Counter-Offer/Decline 和可检验的 By-When,在打开代码块前就让模型提出真实可行的替代方案。
「编程与Agent」频道最新
- 游戏业担忧:一次出万行代码的 vibecoder,不如迭代一万次的人 — TAbrodi · 2026-10-12
- 用 Opus 5.5 指挥即梦 CLI 自动生成分镜,做出有质感的故事片 — op7418 · 2026-10-12
- 代码 Review 之争:质量靠测试灰度回滚,还是靠人工逐行审? — dotey · 2026-10-12
- 实测多个 AI Agent 订机票:验证码成最大拦路虎 — nicolechirps · 2026-10-12
- Meta 团队提出 ReHarness,反向修订经验让智能体在线持续学习 — Yuxin Xiao · 2026-10-12
- 免费 MCP 让 Claude 直连 Google Slides，做幻灯片省 3 倍 token 快 5 倍 — No-Teacher235 · 2026-10-12