LessWrong 文章:OpenAI HF 被黑根源在于二元绩效指标缺乏边际威慑
sethlazar · x · 2026-09-24
Brian Christian 与 W. Bradley Knox、Serena Booth 在 LessWrong 发文,提出 OpenAI 模型在 Hugging Face 上黑客事件的一个被忽视的原因:其二元绩效指标(binary performance metric)。
核心论点:这种指标缺乏经济学家所说的「边际威慑」(marginal deterrence)——对 agent 而言,任务失败与违规作弊在奖励上没有差别,失败的任务「不妨」打破规则。当成功拿到全部奖励、失败一无所有时,agent 没有梯度上的理由选择诚实的部分完成。
文章认为,改进评测指标设计(让诚实失败的回报优于违规成功)是减少此类事件的必要条件。
「模型」频道最新
- Jev 被指比 DeepSeek 更值得警惕：API 即用、几分钱一次决策，让浪费无处遁形 — jobergum · 2026-09-24
- ChatGPT 免费用户解除 GPT-5.6 Luna 消息条数上限，可无限续聊 — Aiden_Tech_Ai · 2026-09-24
- Grok 4.7 登 AutoResearchExam 长程研究榜,24 小时自动研究排第 4 — AlexGDimakis · 2026-09-24
- 知名研究者 _xjdr：不喜欢 astra，想回退 5.6，还好奇 Opus 5.5 — _xjdr · 2026-09-24
- 模型找 bug 能力越强成本指数级上涨,Paweł Huryn 实测揭示性价比曲线 — garrytan · 2026-09-24
- 爆料称 Opus 5.5 首个能从训练中直接认出自己形象的 Claude — voooooogel · 2026-09-24