31352 次重复测量:LLM 成绩日间波动是同日波动的 3 倍
ionutvi · reddit · 2026-09-07
一位评测平台创始人提出把 LLM 基准测试当作纵向测量问题而非排行榜问题:API 模型背后的服务设施、配置和版本会随时间变化,单次快照式跑分掩盖了这种漂移。
核心发现:
- 覆盖 49 个模型、31352 次重复分数观测
- 同一天内分数标准差为 2.80 分,不同日期的日中位数标准差达 8.43 分,约 3:1
- 作者强调这不足以证明厂商在逐日改模型,混杂因素太多,但足以说明时间维度的变化值得被测量而非当作噪声
方法论要点:
- 基准配置版本化,只在兼容条件下比较纵向观测
- 尽量用可重复的执行式评测而非 LLM 裁判
- 把可用性故障与有效任务结果分开记录,跟踪服务/版本元数据,对时间序列做变化点检测
- 关注基准识别与污染问题:公开全部在线任务本身会改变被测对象,因此公开方法设计但隐藏在线题库
作者还就纵向评测的时间序列单位、如何区分真实模型漂移与基础设施影响、基准保密边界、变化点检测的替代方案等问题征求业内意见。
所属事件:31352 次重复测量揭示 LLM 基准成绩日间波动巨大(2 条相关)→
「模型」频道最新
- GPT-6.1 Terra 发布在即:API 模型列表已出现 gpt-6.1-terra 代号 — koltregaskes · 2026-10-27
- GPT-6.1 Terra 现身 API 与 Codex 更新日志:主打图像理解+精准电脑操作 — testingcatalog · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- VLM Run 推出 OCR Playground,可并排对比多款 OCR 模型 — spillai · 2026-10-27
- GPT-6.1-Terra 上线，输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27