评测失真,往往是提示词教会模型知道自己在考试
secemp9 · x · 2026-07-22
评测之所以失真，是模型学会了“这是考试”这个信号
这条帖的核心观点是：很多 benchmark 失败，并不只是因为模型“提到了自己在做评测”，而是因为它学到了相关性偏差。
- 一旦提示词暗示“现在在评测”，模型就可能切换到一种特殊的 role-play 式乖巧模式。
- 这种行为很脆弱，到了真实使用场景里往往无法泛化。
- 作者建议把评测分成三类：neutral、negative（eval-awareness）和 positive（eval-obliviousness）。
- 真正要避免的，是让模型因为识别出测试环境，就表现出和日常使用不同的行为。
这是一条关于 如何设计更可信评测 的方法论讨论。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 一个样本就能刷过公平性基准，EMNLP 论文质疑 BBQ 可信度 — radamihalcea · 2026-10-27
- 一段手机视频生成2000条机器人演示,Real2Sem2Real媲美150条遥操数据 — Scobleizer · 2026-10-27
- 从权重范数几何理解MuonH:尺度不变网络中梯度垂直于权重 — jasondeanlee · 2026-10-27
- 用 Sail 等价性证明与 riscv-coq 交叉验证 RISC-V 规范,发现真实 bug — xennygrimmato_ · 2026-10-27
- Kokotajlo 质疑 CoT 监控性评测:如果模型不拒绝篡改思维链呢 — dfrsrchtwts · 2026-10-27