有研究者提出，评测应分中性、负面和正面三类
secemp9 · x · 2026-07-22
评测更该分成中性、负面和正面三类
作者把 eval 设计概括成一个更直观的框架：
- 中性 eval：任务可以像真实场景那样自然完成，不需要模型知道自己在被评测。
- 负面 eval：模型变得“知道自己在测评”后，行为开始偏移。
- 正面 eval：评测系统尽量做到 eval-oblivious，不向模型泄露“你正在考试”的提示。
他的核心观点是：评测 harness 的目标，不该是让模型学会识别测评，而是尽可能复现真实任务，同时避免在提示词、流程或上下文里给模型暗示。文中还借 Anthropic 相关例子说明，这类问题甚至会直接出现在模型的思考轨迹里。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- 剑桥等机构论文揭露图软提示的 token collapse 病态行为 — Sapienza · 2026-10-27
- Mathathon 2.0 启动：与陶哲轩 SAIR 合作，团队获 150 万美元算力 — _sathvikr · 2026-10-27
- 推友提出「甜课程」真实存在：两类 ML 问题应分而治之 — mike64_t · 2026-10-27
- PixGR：像素空间生成式解码加速前馈 3D 高斯重建 — kwangmoo_yi · 2026-10-27
- UniAction 统一动作条件框架:单一世界模型驱动多种动作类型 — ZeYanjie · 2026-10-27
- Infini-AI Lab 开源 Hermit:让 agent 从经验中进化出好习惯 — BeidiChen · 2026-10-27