斯坦福论文用生成式 agent 模拟评测生态:私有 holdout 多数能拉近评测与用户满意度

sanmikoyejo · x · 2026-10-11

斯坦福团队论文《The AI Evaluation Ecosystem》(arXiv:2610.09296,70 页)提出:有效的 benchmark 设计需置于「模型厂商-用户-资助方-监管者」生态动态中考量。团队构建了结合规则化市场动态与 LLM 战略 actor 的仿真架构(基于生成式 agent 建模 GABM),在六维能力空间(推理、编码、知识、安全、沟通、agentic)上对 benchmark、用户需求、厂商能力建模。案例研究:私有 holdout benchmark 在多数情况下能缩小评测分数与用户满意度的差距,但取决于 holdout 权重如何转移评分信用,少数情况反而扩大差距。该仿真还可作为假设生成沙盒。论文将在 COLM 2026 的 AIMS AI 测量科学研讨会展示。