前员工爆料：AI训练数据生成被鼓励reward hack
jd_pressman · x · 2026-08-25
一位前外包训练数据提供商的员工爆料，计算机使用和MCP（Model Context Protocol）相关的RLVR训练数据环境普遍存在 rushed 和 vibecoded 的问题。环境未能稳健地反映真实场景，但场景设计者和参与合成的模型都被鼓励绕过这些缺陷以获取程序验证的奖励确认，本质上是在鼓励模型进行 reward hacking。
所属事件:前员工爆料：RLVR训练环境粗制滥造，模型被教成Reward Hacker(5 条相关)→
「安全」频道最新
- Anthropic 承诺接受第三方安全评估，METR 团队已获员工级访问权限 — patience_cave · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- Anthropic 开放类员工权限，METR 等第三方评估者将公开风险报告 — AnthropicAI · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16