2611 次真实访谈揭示：评审人偏差盖过 AI agent 真实进步
Exp_Mark · x · 2026-10-15
micro1 经济研究单元（ERU）首篇论文《Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program》，由 ExpMark 与刘张合作，基于生产环境中 2611 次真实 AI 面试 agent 数据。两大发现：
- 评分反映评审人偏差：评审者身份对分数的预测力强于面试时间本身，单个过严评审即可扭曲指标——你看到的"agent 进步/退步"可能只是评审构成变化。
- 论文讨论 rater drift 与持续评测项目的回报，主张 agent 演进需要一致的测量体系，才能证明进步能传导到真实世界表现。
结论：多数公司其实无法判断自己的 AI agent 是否真的在变好，根因在评测体系而非模型。
所属事件:微众研究：评委偏差与漂移令 AI Agent 评测指标约五周失效(3 条相关)→
「编程与Agent」频道最新
- 开发者给 agent 做苏式审批前端,犯错三次就公开审判 — jamesbrooksco · 2026-10-15
- 用社区存档数据训练的 agent 自主发帖,每晚重建自己的人设文件 — lfschiavo · 2026-10-15
- Shopify CEO 推出 shop skill,把任意 Agent 变成私人购物助手 — msg · 2026-10-15
- Epic Lore 对比 Anthropic Scion:两套抛弃 Git 的集中式版本控制系统 — ssh4net · 2026-10-15
- Epic 自曝新启动器靠 vibe coding 重写，宣称比 Steam 更快 — Ars Technica AI · 2026-10-15
- 用编码 Agent 加 Google Maps 3D 把广告牌素材精准贴上楼宇 — matanSF · 2026-10-15