研究：LLM 评测是预测问题，旧基准分数会让选型翻车
micahgoldblum · x · 2026-10-15
Rahul Thomas、Adam Block、Micah Goldblum 的 arXiv 论文《LLM Evaluation is a Forecasting Problem》提出：LLM 在过去数据上训练、在未来部署，但标准评测假设 IID 随机切分，忽视了时间这一变量。论文发现 web 文本分布高度非平稳，模型在各基准上的成绩随时间持续变化。
关键发现：
- 基准分数很快过时：在 LiveCodeBench 上，用 12 个月前的数据预测下月成绩，误差是用 1 个月前数据的两倍以上。
- 结论普适：跨 19 个模型、12 个数据集，时间序列预测器 Chronos-2 相比「池化全部历史分数」的标准做法，把下一年预测误差降低 37%。
- 选型影响巨大：在 WildTime-arXiv 上，池化历史数据在全部 11 个目标年份都误选 Llama-3.1-70B-Instruct，而实际最优的 Qwen3-32B-thinking 在其中 10 年都更好。
- 训练侧同理：早期 NIST 竞赛中训练集来自 Census 职员手写数字、测试集来自高中生，验证误差 <1% 的模型测试表现大幅下滑。
作者建议：保留时间戳、给近期数据更高权重、用时间感知预测器跑一遍评测历史。代码与数据已开源。
所属事件:研究称 LLM 评测本质是预测问题，旧基准分数或致选型失误(2 条相关)→
「模型」频道最新
- 模型在思维链里打招呼监视者,安全研究者列四大危险信号 — dfrsrchtwts · 2026-10-15
- TypeSafe AI 发布 Jev 1.14.0,实验性图像功能藏进 Danger Zone — michellechen · 2026-10-15
- ADL 称与 OpenAI、Anthropic 等实验室合作压制反犹内容,Claude 翻译遭安全过滤器拦截 — amasad · 2026-10-15
- 网友押注 Fable 5.5 重振采用率,否则或靠下调 API 价格拉增长 — zephyr_z9 · 2026-10-15
- AA-Robotics 榜单：GPT-6 Astra 操控机械臂登顶，但仍比人类慢百倍 — ArtificialAnlys · 2026-10-15
- token 价格是补贴价：律师类比 Uber 烧钱，并曝模型做物理题嘴硬翻车 — UltraRareAF · 2026-10-15