研究称 LLM 评测本质是预测问题，旧基准分数或致选型失误

Rahul Thomas、Adam Block 与 Micah Goldblum 发布 arXiv 论文《LLM Evaluation is a Forecasting Problem》，指出 LLM 在过去数据上训练、却部署于未来，而评测却假设时间不存在。研究者在多个预训练语料上实验发现，基准分数会随时间衰减，旧基准的参考价值下降，新数据更值钱；若只看旧基准分数做模型选型，结果可能完全翻车。

2026-10-15 ~ 2026-10-15 · 2 条相关

• 把 LLM 评测当预测问题:基准分数随时间衰减,新数据更值钱 — micahgoldblum · 2026-10-15
• 研究：LLM 评测是预测问题，旧基准分数会让选型翻车 — micahgoldblum · 2026-10-15