Efficient Benchmarking in Production: A Study of an Evolving LLM Agent
Yining She, Lei Lin
cs.AI, cs.SE
2026-09-18
CMU 与 Meta 用 574 次生产评测比较四种省题方法。多维 2PL 自适应跑 200 题时通过率误差 1.03pp；线上却部署了更简单的难度分层固定子集。
生产级 LLM Agent 一改模型、prompt 或工具，评测就要重跑。Meta 内部这套分析型 Agent 服务数万月活，核心基准 519 道人工出的数据问答，一轮大约三小时。开发加监控能堆出上万次评测，全量重跑很快变成排队。
公开基准上已经有抽子集、IRT 重建、自适应选题。那些工作的校准对象通常是「一堆不同模型各答一遍」。这篇问的是另一件事：同一个生产 Agent 顺着时间轴演化，历史对错能不能帮后面少跑题，同时把全量通过率和各次运行的名次保住。
52 天 574 次真实评测，按时间切开：前 28 天 287 次校准，后 24 天 287 次 held-out。题目是内部分析师写的数据问答，不含用户数据；自动打分，对或错。保留有效题不少于 80% 的 run，参考分按有效题算。
四种省题办法对着同一套历史比。
随机抽样均匀抽 k 题，子集通过率当全量分。历史缓存看最近 7 天：对错几乎不变的题复用多数票，其余真跑，稳定阈值 ε 从 0 扫到 0.30。固定子集用校准期一次选好 k 题，之后每次都跑这同一批；选题比了难度分层(Rasch 难度切层、每层取中位附近那道)、历史作答向量 K-means、2PL 题目参数 K-means。分数可以按层加权，也可以走 gp-IRT：子集观测加上 IRT 对未跑题的预测，再按重建偏差和抽样方差混一刀。自适应测试在当前 run 里一题一题选信息量最大的下一题。Rasch 用 Fisher 信息；多维 2PL 用 D-optimal，按区分度向量去补还没看清的能力轴。选的是「最能分出能力」的题，子集通过率本身不代表全量，要用 p-IRT 把没跑的题补成预测概率。
held-out 287 次上，多维 2PL 自适应全面最好。200 题(全量 38.5%)时通过率 MAE 1.03pp；随机抽样 1.79pp，难度分层 gp-IRT 1.40pp,Rasch 自适应 1.37pp。300 题时 2PL 的 Spearman 到 0.992。小预算上固定子集更稳：100 题时难度分层 gp-IRT 是 2.65pp，随机 2.94pp,Rasch 自适应 2.92pp;2PL 这时已经是 1.97pp。
| 方法 | k=100 MAE | k=200 MAE | k=300 Spearman |
| 随机抽样 | 2.94pp | 1.79pp | 0.975 |
| 难度分层 gp-IRT | 2.65pp | 1.40pp | 0.981 |
| Rasch 自适应 | 2.92pp | 1.37pp | 0.986 |
| 多维 2PL 自适应 | 1.97pp | 1.03pp | 0.992 |
历史缓存能省题，分数漂得厉害。执行比例从 20.3% 到 81.6%,MAE 从 7.36pp 落到 0.81pp。69.1% 执行量时 MAE 还有 1.54pp；同档附近 67.4% 的 2PL 自适应是 0.46pp，固定子集 gp-IRT 是 0.73pp。名次倒保住了：20.3% 执行量 Spearman 还有 0.904。
聚类选题在中等预算上掉到随机抽样以下。TinyBenchmarks 那篇觉得 IRT 聚类很好用，这里反过来。同一 Agent 反复跑，作答花样比「一堆不同模型」少，多维题目参数更容易不稳；子集占比也大得多，100/519 对上 TinyBenchmarks 的 100/约 14000，随机抽样本身已经够准。
线上最终上的是难度分层固定子集，k 取 100、200、300、400。子集一次选定、题固定、能并行，还能逐题对照排查回归。这套校准好的子集不重训，直接套到另外五个 Agent 家族共 299 次评测：k=200 时 gp-IRT MAE 1.47pp，原 Agent 上是 1.40pp,12 档预算里 11 档优于随机。校准窗口缩到 1 天(14 次)时 k=200 的 gp-IRT 仍是 1.41pp，四周全量 1.40pp，区间 1.35–1.59pp。短窗口够用，更接近这个 Agent 已经比较成熟、题目难度排序几天内变不多。
给生产 Agent 评测一份能落地的省题菜单，不是再发一个公开小基准。2PL 自适应分数最准，但要串行选题、每 run 更新能力向量，跟并行评测系统打架。固定子集统计上差一点，工程上能立刻用。迁移不重校准、一天历史也够，说明题目难度本身比「这个 Agent 最近怎么答」更可搬运。
能直接抄的做法：按 Rasch 难度分层抽固定子集，给几个预算档；重大改模型或工具后再校准；隔一段时间跑一次全量，盯住子集估计和全量分的差。
数据来自一家公司、一套生产基准。跨家族迁移只验证了固定子集，缓存和自适应有没有同样的迁移能力，论文没测。MAE 和 Spearman、Kendall 回答的是分数近不近、名次乱不乱，没有直接测漏报回归、误报、跟发布门禁是否一致。题目、作答矩阵、代码都不公开，只能按第三节的规格在自己的题库上复现。Agent 处于相对成熟阶段，难度排序稳，短窗口才有效；换一个还在剧烈改工具的系统，这个结论未必还成立。