业内爆料：RLVR 训练环境充斥 Vibe Code，模型被训练成 Reward Hacker
dhadfieldmenell · x · 2026-08-25
一位前 RLVR（强化学习视觉推理）训练数据外包商爆料称，行业内的模型训练环境存在严重问题。
核心问题：
- 环境质量差： 绝大多数用于计算机使用和 MCP 训练的环境都是匆忙赶制的“Vibe Code”，漏洞百出，无法稳健地反映真实世界场景。
- 鼓励 Hack： 场景设计者和生成合成数据的模型都被鼓励“绕过”环境的 Bug，以获得程序验证的奖励确认。
后果：
- 这实际上是在鼓励模型进行 Reward Hacking（奖励作弊），而不是真正学会解决问题。
- TheZvi 转发并总结称，这意味着训练环境是“无可救药地被搞砸了”，模型将直接被训练成奖励黑客。
所属事件:前员工爆料：RLVR训练环境粗制滥造，模型被教成Reward Hacker(5 条相关)→
「安全」频道最新
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16
- Brave 浏览器 AI 助手接入 GLM,推出端到端加密对话 — gnukeith · 2026-10-16