102M参数时间序列模型怎么预测
sjm213 · reddit · 2026-07-15
作者解读了一个约 **101.6M 参数** 的时间序列基础模型 t0-alpha，重点在于它如何做多变量预测。 ### 架构要点 - 将时间序列切成长度为 32 的 patch - 每个 patch 映射到 512 维表示 - 共 24 层 Transformer：16 层 **time-attention** + 8 层 **group-attention** - 使用 time-aware rotary embeddings、RMSNorm、SwiGLU - 输出 9 个分位数，用于概率预测 - 上下文窗口最长 1,024 个时间步 ### 结果与问题 - 在 GIFT-Eval 上的 aggregate CRPS 为 **0.4941** - 这个成绩大致与 TimesFM 2.5、Chronos-2 处于同一量级，但参数量只有约 102M 作者最后提出两个讨论点： 1. 将时间维和变量间信息拆开处理，是否真能提供有用的归纳偏置？ 2. 更小的专用 foundation model，能否继续和更大的预测模型竞争？