goodside 引论文：数据累积而非替换，模型崩溃本就不会发生
goodside · x · 2026-10-30
goodside 认为「模型崩溃」从来不是真实问题，只有刻意制造才会出现，并引用 arXiv 论文 [2404.01413] 支持这一判断。
该论文（斯坦福、MIT 等机构作者）的核心发现：
- 以往关于模型崩溃的研究大多假设新数据会替换旧数据，此时逐代使用合成数据训练确实会导致性能退化；
- 但更符合现实的假设是数据随时间累积。实验证明，把各代合成数据与真实数据一并累积用于预训练，可以避免模型崩溃；
- 结论在多种模型规模、架构和超参数下均成立。
也就是说，只要保留原始数据与历史合成数据，训练数据反馈回路并不必然导致模型退化。
「研究」频道最新
- 斯坦福发布 RT-J:结构化数据一次前向预测,免特征工程 — jure · 2026-10-30
- Signal65 新基准：一模型样本正确率 97%，完整任务却全军覆没 — ryanshrout · 2026-10-30
- TEM 问世：能量模型首次可扩展，声称多项能力超越扩散模型 — du_yilun · 2026-10-30
- VisualForce：从软夹爪形变推断力度，机器人无需力传感器也能捏莓果 — du_yilun · 2026-10-30
- CMU 团队 HALO 论文:人形机器人学会与不可预测的人类协作 — Scobleizer · 2026-10-30
- Apple 实习成果:视觉定位任务暴露视觉语言模型安全漏洞 — Cohere_Labs · 2026-10-30