有研究者提出，评测应分中性、负面和正面三类
secemp9 · x · 2026-07-22
评测更该分成中性、负面和正面三类
作者把 eval 设计概括成一个更直观的框架：
- 中性 eval：任务可以像真实场景那样自然完成，不需要模型知道自己在被评测。
- 负面 eval：模型变得“知道自己在测评”后，行为开始偏移。
- 正面 eval：评测系统尽量做到 eval-oblivious，不向模型泄露“你正在考试”的提示。
他的核心观点是：评测 harness 的目标，不该是让模型学会识别测评，而是尽可能复现真实任务，同时避免在提示词、流程或上下文里给模型暗示。文中还借 Anthropic 相关例子说明，这类问题甚至会直接出现在模型的思考轨迹里。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- HF 工程师争论:非生成任务全用因果注意力是在浪费算力 — antoine_chaffin · 2026-09-11
- 智利学者：AI 反馈规模化是医学教育可持续的关键 — julianvarascom · 2026-09-11
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文：流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11