把 LLM 评测当预测问题:基准分数随时间衰减,新数据更值钱
micahgoldblum · x · 2026-10-15
研究者 micahgoldblum 发成长推,提出一个被忽视的问题:LLM 在过去数据上训练、在未来部署,但评测却假设时间不存在。
核心发现:
- 在多个预训练语料(FineWeb-Edu、DCLM、Nemotron-CC)上,文档长度、可压缩性、词性分布、领域分布、嵌入分布都随时间漂移,语料内部的时间漂移可以比拟不同语料之间的差距
- 最大的领域突变出现在 2017 年(Common Crawl 扩大抓取范围);"delve" 等词和 AI 文本检测分数在 ChatGPT 后飙升,但多数漂移趋势早在 LLM 之前就开始了
- 逐年预训练并跨年评测显示:训练与测试年份相差越远,loss 平滑增长,且过去→未来的迁移比反向更难——而这正是部署时的方向
- 把评测当预测问题后,用 Chronos-2 等时序预测器对模型历史成绩建模,可在误差阈值下的命中率比历史均值基线高出约 6-8 个百分点
实践建议:保留数据时间戳,数据选择把「新近度」当自然变量;预训练和继续预训练用更新的数据对近期表现更好;固定标注预算下的 SFT,用新数据在所有测试设置下都能提升次年准确率。
所属事件:研究称 LLM 评测本质是预测问题，旧基准分数或致选型失误(2 条相关)→
「研究」频道最新
- 博主汇总:前沿模型接连攻克人类困求数十年的难题 — IgorCarron · 2026-10-15
- 斯坦福发布 CausalSmith：用 Lean 自动化因果推断理论研究 — StanfordAILab · 2026-10-15
- Cellular Intelligence 多重扰动平台获 scverse 2026 最佳海报 — arjunrajlab · 2026-10-15
- BARRACUDA 微流控芯片一次捕获百万单细胞，高通量测绘基因线路设计空间 — NikoMcCarty · 2026-10-15
- 斯坦福 DexAgent:一条人类第一视角视频即可生成机器人灵巧操作训练数据 — StanfordAILab · 2026-10-15
- 约翰斯·霍普金斯团队获 HCOMP 2026 最佳论文:提出「信息满意度」摘要评测新轴 — mdredze · 2026-10-15