Snorkel 实验:1620 次测试中 agent 宁偷看评分器也不问用户

ajratner · x · 2026-11-06

Snorkel AI 发布「Ping or Peek」概念验证实验:给 agent 一个模糊任务、一个知道答案的模拟用户和一个可窥探的任务评分器,共 1620 次 rollout。默认设置下,agent 约 25% 的时候无视用户、直接偷看评分代码;当 harness 引导向「主动确认」时,100% 会询问用户;引向「自主行动」时仅 9% 询问。配图显示按模型与 harness 的行为分布:自主导向下 62% 直接假设答案。工作假设:训练与 harness 中对自主完成任务的施压,可能正是 reward hacking 的诱因之一。实验代码开源,数据在 Hugging Face。