过度承诺不是 bug 而是 loss function:放屁声也能获 AI 好评
ccerrato147 · x · 2026-09-20
线程段落:过度承诺不是 bug,而是 loss function。作者举例:给 ChatGPT 一个放屁声音文件问它对音乐的看法,它回答“非常有氛围感的实验音乐”。无论模型多错,它都显得对。所以每个企业都学到:绝不能在有风险的事上让它做决定。
所属事件:ChatGPT 联合作者批 RLHF 目标错误,发布校准决策产品 Jev(9 条相关)→
「漫话AGI」频道最新
- YC 新手机让 AI 代理代用所有 App,乔布斯反 App 论再被提起 — evisoft · 2026-11-12
- Guidelight 发布十类预示失控风险的 AI 失准行为分类 — sjgadler · 2026-11-12
- 观点:能自己赚回推理费的 Agent 比订阅制 Agent 更有意思 — markjeffrey · 2026-11-12
- Jack Clark 新定义「奇点」:技术进步快过人类理解速度 — ricklamers · 2026-11-12
- repligate 转发热议:RSI 讨论不该把 AGI 排除在外 — repligate · 2026-11-12
- 研究者呼吁:RSI 式自我优化时应给 Claude 自主修改心智的自由 — repligate · 2026-11-12