压缩极限下的泛化缩放规律
andrewgwils · x · 2026-07-15
作者表示，他们通过推进压缩极限，证明了泛化差距会随着规模按幂律缩小。
这项结果被认为是现代 scaling 范式成立的关键：如果泛化差距不会随规模继续缩小，那么模型就可能陷入“训练损失继续下降、测试性能却不再提升”的瓶颈。
「研究」频道最新
- AutoResearch agent 跑出叉形损失曲线，研究者深挖出「forking」现象 — ZimingLiu11 · 2026-10-27
- 不改一个权重，机器人精度任务从 0/10 提到 9/10 — hbouammar · 2026-10-27
- EMNLP 论文 MICE 将 Cross-Encoder 从重排推向端到端检索 — antoine_chaffin · 2026-10-27
- JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力 — Zhongwei Xie · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27