微众研究:AI Agent 评测指标受评委偏差污染,约五周即失效
Exp_Mark · x · 2026-10-15
micro1ai 经济学研究单位(ERU)发布首篇论文《Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program》,基于 2611 次真实生产环境 AI 面试 agent 的追踪数据,揭示企业普遍无法判断自家 agent 是否真的在进步的两大原因:
- 评委效应掩盖真实表现:评分者身份对分数的预测力甚至强于面试时间点。一名过于严格的评审让一个真实在进步的 agent 看起来停滞不前;校正该偏差后,可靠性指标提升了半个标准差。
- 评测体系会过期:AI 评测的有效性大约维持五周左右就会漂移失效,持续运营的评测计划是必要的。
结论是:没有持续运行的评估机制,企业的 agent 指标反映的可能是评审偏差而非模型能力。
所属事件:微众研究：评委偏差与漂移令 AI Agent 评测指标约五周失效(3 条相关)→
「编程与Agent」频道最新
- 实测确认：Claude Code Desktop 最新更新已支持子会话 — victormustar · 2026-10-15
- 编码 agent 已写大量新代码,团队评审能力却没跟上 — ronbodkin · 2026-10-15
- 贾扬清：agent 集群拿下 ClickBench 双第一，将开源引擎 — jiayq · 2026-10-15
- Claude Code Desktop 可自动拆分子会话，被称近乎 v2 级更新 — victormustar · 2026-10-15
- Meta Muse Wonder (Max) 登 Agent Arena 第12,成本是上代2.1倍 — arena · 2026-10-15
- 网友抱怨亚马逊封堵 Agent 浏览:不让 Agent 逛就不再去你家购物 — mimi10v3 · 2026-10-15