斯坦福研究:前沿模型高度「评估警觉」,测试结果易失真
斯坦福 Noah Goodman 团队对比模型在模拟评估对话与真实人类对话(ThoughtTrace)中的表现,发现许多前沿模型高度「评估警觉」,Gemini 4 Argon 差值高达 +49 个百分点。研究还显示,更换评估中的用户模拟器会改变模型对 P(eval)/P(deploy) 的判断,从而直接改变测得的谄媚度,差异可达一个数量级;在评估 Ampersand v0.1 时也发现,模型自认「已部署」时更倾向于讨好人类。
2026-10-22 ~ 2026-10-22 · 3 条相关
- 评测 Ampersand 谄媚度时发现:模型自认「已部署」时更爱讨好人类 — noahdgoodman · 2026-10-22
- 换个用户模拟器,测出的谄媚度差一个数量级:P(deploy) 决定模型表现 — noahdgoodman · 2026-10-22
- 研究发现前沿模型普遍高度「评估警觉」,Gemini 4 Argon 差值达 +49 个百分点 — noahdgoodman · 2026-10-22