训练中途分岔实验:学会泛化的同时分形盆地出现
wgilpin0 · x · 2026-09-09
作者用一个 loop transformer 训练解决整数线性回归,展示了分形盆地的形成过程:训练中段出现分岔——模型突然学会解未见样本,与此同时分形盆地也随之出现。该实验说明分形结构与泛化能力的涌现同步发生,为「解难题必然伴随混沌」提供了训练动力学的直接证据。
所属事件:分形盆地困住推理模型:瞬态混沌解释「过思维」(16 条相关)→
「研究」频道最新
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 研究成果被采用的四个条件:重要问题、强基线、可扩展、真实可用 — srchvrs · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- GitHub 快速位打包算法致谢漏了两位作者,学者晒亲身经历 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27