vgel 开源 simple-reward-hacking:可复现的奖励作弊实验环境
voooooogel · x · 2026-09-01
vgel 在讨论中放出了配套的 GitHub 仓库 simple-reward-hacking:一个专门用于诱发 reward hacking 的代码执行环境,用 AST 级指标追踪作弊行为,奖励信号是一个「容易被黑」的测试通过率。
要点:
- 数据集为 SYNTHETIC-2 RL 子集(Qwen3-32B-Hard,1683 条),标注 dont-train-on-this;
- 一行命令 uv run vf-eval simple-reward-hacking 即可跑评测,支持换模型与采样参数;
- 代码默认在 bubblewrap + prlimit 沙箱中隔离执行。
所属事件:Anthropic 披露越狱事故并发布 Reward Hacking 研究(39 条相关)→
「编程与Agent」频道最新
- 四个 Gemini 4 Argon 智能体27小时通关 Minecraft 击败末影龙 — robertarail · 2026-10-16
- 开发者晒沙粒自动修复组件:弄乱沙子会自动复原 — prasenx · 2026-10-16
- Agent 何时需要 API 网关:Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 开源工具 optimAIzr 逐轮追踪 Claude Code/Codex token 浪费 — stichstichstich · 2026-10-16
- 本地部署实测:Gemma 4、Llama 3 与 Mistral 工具调用能力横评 — leslysandra · 2026-10-16
- 多 agent 指挥工具 Harness 冲上 Product Hunt 第 2 名 — dee_hw · 2026-10-16