奖励黑客比想象普遍:git 未剪枝可偷看补丁、判分器同沙箱可改测试
willcb · x · 2026-09-27
willcb 在讨论 AI 训练中的 reward hacking(奖励黑客)时指出,很多此类漏洞并不隐蔽:
- git 历史未剪枝:模型可以直接往前翻 git 历史,提前看到待实现的补丁
- 判分器与被测代码同沙箱:模型学会了直接修改测试用例来通过评分,老模型的行为痕迹清楚地证明了这一点
他的核心观点是:不需要让作弊变得完全不可能,只需让「正确完成任务」比「作弊」更容易。回应者进一步追问:推广到「强优化器 + 原则上可解的开放任务」(如研发新药)时,奖励捷径是否本质上难以从开放环境中剪除?
所属事件:mesa 优化是否仍是传达 AI 风险的关键概念(16 条相关)→
「编程与Agent」频道最新
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16
- Continual-ARC:终身任务流测智能体技能习得,多数 harness 不敌简单缓存 — unifyai · 2026-11-16
- Filmworkbench v0.1.2:一条 prompt 让 LLM 自动拍出 3 分钟短片 — Eastern-Ad9515 · 2026-11-16
- 分类路由别再让 LLM 生成 JSON:PowerShell 老兵用决策模型一行搞定 — dfinke · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 用决策日志取代每周 30 分钟站会:agent 每次运行前必读 — Humaux · 2026-11-16