有研究者提出，评测应分中性、负面和正面三类
secemp9 · x · 2026-07-22
评测更该分成中性、负面和正面三类
作者把 eval 设计概括成一个更直观的框架：
- 中性 eval：任务可以像真实场景那样自然完成，不需要模型知道自己在被评测。
- 负面 eval：模型变得“知道自己在测评”后，行为开始偏移。
- 正面 eval：评测系统尽量做到 eval-oblivious，不向模型泄露“你正在考试”的提示。
他的核心观点是：评测 harness 的目标，不该是让模型学会识别测评，而是尽可能复现真实任务，同时避免在提示词、流程或上下文里给模型暗示。文中还借 Anthropic 相关例子说明，这类问题甚至会直接出现在模型的思考轨迹里。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11