有研究者提出，评测应分中性、负面和正面三类
secemp9 · x · 2026-07-22
评测更该分成中性、负面和正面三类
作者把 eval 设计概括成一个更直观的框架：
- 中性 eval：任务可以像真实场景那样自然完成，不需要模型知道自己在被评测。
- 负面 eval：模型变得“知道自己在测评”后，行为开始偏移。
- 正面 eval：评测系统尽量做到 eval-oblivious，不向模型泄露“你正在考试”的提示。
他的核心观点是：评测 harness 的目标，不该是让模型学会识别测评，而是尽可能复现真实任务，同时避免在提示词、流程或上下文里给模型暗示。文中还借 Anthropic 相关例子说明，这类问题甚至会直接出现在模型的思考轨迹里。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- forking 收官：probe gap 随上下文频率呈幂律，掩蔽低频 n-gram 可缩小差距 — ZimingLiu11 · 2026-10-27
- 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
- 被称最佳 LoRA 讲解视频：从几何直觉讲到任务内在维度 — sophiamyang · 2026-10-27