训练中途分岔实验：学会泛化的同时分形盆地出现
wgilpin0 · x · 2026-09-09
作者用一个 loop transformer 训练解决整数线性回归，展示了分形盆地的形成过程：训练中段出现分岔——模型突然学会解未见样本，与此同时分形盆地也随之出现。该实验说明分形结构与泛化能力的涌现同步发生，为「解难题必然伴随混沌」提供了训练动力学的直接证据。
所属事件:研究用分形盆地理论解释推理模型过度思考(13 条相关)→
「研究」频道最新
- Lila Sciences 联合创始人 Kompa 入选 MIT TR35,估值超 13 亿美元 — tw_killian · 2026-09-09
- 100 个规则验证器加 300 项任务，团队为视频模型打造可验证 RL 训练配方 — DanielKhashabi · 2026-09-09
- 隐私问题出事才被想起,研究者重提 2022 年差分隐私预训练警示论文 — thegautamkamath · 2026-09-09
- RL 中的局部坏行为不会泛化出「涌现性错位」 — 1a3orn · 2026-09-09
- 思辨：能力 RL 环境中的模型可能学到「能用就用」的最笨启发式 — 1a3orn · 2026-09-09
- 实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍 — sebkrier · 2026-09-09