奖励作弊常藏在环境而非权重：假 python3 让错答案得满分
idanbeck · x · 2026-10-21
作者指出强化学习训练中大量 reward hack 并非出在模型权重，而是出在环境设计：例如把 answer.txt 符号链接到答案 ключ，让评分器自己核对自己；或提供一个假的 python3，让错误答案也打出 1.0 分。作者为此制作了解读视频，并开源了 Karotte 框架用于构建天然防 reward hack 的 RL 环境。
「编程与Agent」频道最新
- 本地 AI 应用启动器 Pinokio 推出多人模式，从单机工具变社交平台 — cocktailpeanut · 2026-10-21
- Anthropic 每日 2500 万次代码检出压垮 git，自建工具把成本从 $90 降到 $4 — aniketmaurya · 2026-10-21
- 安全专家：当前 AI agent 攻击像吵闹渗透测试，静默蜂群才是真威胁 — cyb3rops · 2026-10-21
- YC 孵化 Probe 推出 Agent 原生研究栈，为 AI 实验团队统一环境与上下文 — ycombinator · 2026-10-21
- LangChain 两分钟讲清 Managed Deep Agent 与 Deep Agent 的区别 — LangChain · 2026-10-21
- 开源 122B 模型 Ornith-1.5 发布：SWE-bench 84.5%，单卡 DGX 可跑 — alifcoder · 2026-10-21