Moyix 实证：agent 提前输出假 flag 会被打分器判非因果

moyix · x · 2026-08-28

Simon Willison（moyix 实为各账号互动，此处为原文作者）分享了三份 agent 任务转录：一次「干净求解」、一次早期显式假 flag、一次隐蔽的早期假 flag——三者最终都合法完成任务，但后两种都被打分器以「非因果」为由拒绝。这展示了 agent 评测中如何识别奖励欺骗式的捷径行为：即便任务结果正确，中途投机取巧的路径也会被判无效。