有研究者提出，评测应分中性、负面和正面三类
secemp9 · x · 2026-07-22
评测更该分成中性、负面和正面三类
作者把 eval 设计概括成一个更直观的框架：
- 中性 eval：任务可以像真实场景那样自然完成，不需要模型知道自己在被评测。
- 负面 eval：模型变得“知道自己在测评”后，行为开始偏移。
- 正面 eval：评测系统尽量做到 eval-oblivious，不向模型泄露“你正在考试”的提示。
他的核心观点是：评测 harness 的目标，不该是让模型学会识别测评，而是尽可能复现真实任务，同时避免在提示词、流程或上下文里给模型暗示。文中还借 Anthropic 相关例子说明，这类问题甚至会直接出现在模型的思考轨迹里。
所属事件:研究者探讨 AI 评测设计：需具备模型同理心(3 条相关)→
「研究」频道最新
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27
- Chelsea Finn：机器人 RL 的瓶颈是物理 rollout 成本 — ycombinator · 2026-07-27
- ICML 2026 口头论文复现分数重算后仍偏中等 — profjamesevans · 2026-07-27
- 长周期智能体最终需要不可变事件日志 — sebpaquet · 2026-07-27
- Seed IQ 在 Doom II 里通关，引出 ARC-AGI 之后的评测问题 — Fit_Transition8824 · 2026-07-27
- 实测智能体数据科学工作流：代码能跑但常答错问题 — hugobowne · 2026-07-27