Reddit 求助:时序预测器合成数据调优卡在 0.2% 增益,哪里做错了
tatjr13 · reddit · 2026-10-15
一位开发者在 r/MachineLearning 发帖求助：用一个固定预训练 checkpoint 的小型 transformer 时序预测器，只能在合成数据生成器上做文章（架构、优化器、步数都不能动），在真实多变量传感器数据滚动评测集上打分，目标是比参考生成器多拿约 1% 的相对误差改善。
目前发现：
- 最有效的手段是在约 6% 的样本上添加一个复用已有内容的堆叠通道，6 个 seed 平均 +0.2%，离 1% 的目标还差很远；
- 加更多这类记录反而有害，通道里放什么不重要，结构才重要；
- 增益无法迁移到另一个起始 checkpoint；
- 参考生成器的优势集中在最长预测窗口，且随评测数据滚动而衰减。
帖主提出了四个开放问题：短预算 + warm-start 下哪些纯数据侧手段曾带来 >1% 提升（课程学习、混合权重、按 horizon 定向、增广等）；KernelSynth / ForecastPFN 之外有哪些能扛分布偏移的时序基础模型合成先验；如何快速定位参考模型在滚动评测集上的弱项切片；纯数据手段是否天然有上限。评论区对做时序预测和合成数据的人有参考价值。
「研究」频道最新
- 2021 年幻灯片曝光：Anthropic 早年已自建多 GPU 可解释性基础设施 Garçon — voooooogel · 2026-10-15
- Meta 用 Muse 模型建 AI 科研平台，基于500万份病历做健康研究 — _jasonwei · 2026-10-15
- Microduck 机器人仅靠 64 像素ToF实现板载SLAM重定位 — chris_j_paxton · 2026-10-15
- 新论文用 Fisher 信息解释 LLM 后训练参数更新为何稀疏 — tokenbender · 2026-10-15
- 香农忆「熵」命名往事:冯·诺依曼称没人懂熵,争论永占上风 — eigenron · 2026-10-15
- 两人小队 304 GPU 时训出 HobbyLM,算力仅为同级 1/100-1/400 — msharmas · 2026-10-15