4M 参数小模型击败 20 倍大模型，合成数据再证奇迹
bittingthembits · x · 2026-08-12
Cascade 团队展示了如何利用高质量的合成数据，让一个仅有 400 万参数的微型模型，在时序预测任务上击败了 Salesforce 高达 9100 万参数的 Moirai-Base 模型（参数量相差约 23 倍）。
核心亮点：
- 以小博大：在 GIFT-Eval 基准上，Cascade 的 MASE 和 CRPS 指标均优于更大的 Moirai-Base。
- 合成数据是关键：该模型仅训练了 15 万步，核心在于不要求矿工构建最大的模型，而是竞争生成最优质的合成数据来训练同一个固定的小模型。
- 动态防作弊基准：为了防止模型对静态基准进行记忆，他们推出了 TSBench-Forge。该基准从能源、金融、医疗等 7 个领域的 1517 个主机中实时抓取 2334 个活跃时间序列数据，确保测试集不断更新且完全基于真实世界。
「研究」频道最新
- HALO 系统:人机协作加速药物分子发现 — _xiang_chen_ · 2026-08-12
- RAG 痛点终结：2026 年 PDF 表格解析开源工具横评与避坑指南 — AvenueJay · 2026-08-12
- AI 突破数学难题:将 17 方块装箱下界提升至 4.456575 — stanislavfort · 2026-08-12
- 用ChatGPT设计mRNA疫苗治好宠物狗，YC孵化AI制药新创企 — ycombinator · 2026-08-12
- CSCW 2026 将举办 AI 对开源社区影响研讨会 — manoelribeiro · 2026-08-12
- 预印本论文探讨染色质存储记忆信息的机制 — SeyoneC · 2026-08-12