WhatIf-Bench 揭示时序模型外推短板：遇到新情景成绩跌至-7%~50%
irinarish · x · 2026-11-04
Lacuna Research 团队发布 WhatIf-Bench，首个专门评估时间序列模型「干预感知」能力的大规模基准，含 37,665 个任务，基于数据中心、电网、道路交通、水网等仿真器构建。
核心发现：
- 时序基础模型能通过上下文读取协变量，使情景分析（what-if）成为可能：设定未来协变量并预测目标响应
- 当未来事件重放模型见过的数值时，各模型相对朴素基线有 48%85% 的技能分数
- 一旦要求外推到全新协变量值，成绩骤降至 -7%50%，回归基线跌幅最大，暴露明显「外推鸿沟」
- 前沿 LLM 总体表现最好，超过最强的时序基础模型
「研究」频道最新
- Soft-MTP：去除多 Token 预测训练中的噪声梯度信号 — burkov · 2026-11-04
- 机器人学者：训练神经仿真器所需失败数据约为成功数据的 10 倍 — chris_j_paxton · 2026-11-04
- Hugging Face 推出 Hub 原生评测结果系统，基准可自建排行榜 — NielsRogge · 2026-11-04
- Hugging Face 邀请 OmniParseBench 入驻为官方原生 benchmark — NielsRogge · 2026-11-04
- jbhuang：机制可解释性是被低估的关键，编码 Agent 可直接应用 — jbhuang0604 · 2026-11-04
- Ai2 发布 StateBench:前沿模型长任务状态追踪准确率跌至 13% 以下 — allen_ai · 2026-11-04