神经网络训练成败边界呈分形结构，可视化效果惊艳
alec_helbling · x · 2026-09-21
前 Google Brain 研究员 Jascha Sohl-Dickstein 在博客(及 arXiv 论文 The boundary of neural network trainability is fractal, arXiv:2402.06184)中展示：神经网络训练成功与失败的超参数边界具有分形结构。
- 思路来源：训练神经网络与生成分形都涉及反复将函数作用于自身输出，且都依赖超参数决定输出发散或收敛(类似 Mandelbrot 集合的定义方式)。
- 作者在超参数空间中扫描训练成败，发现其边界呈有机、 Gorgeous 的分形图案，并发布了大量可视化与 deep zoom 视频。
- 女儿对分形的兴趣是这篇博文的出发点，兼具科普与研究的双重趣味。
「研究」频道最新
- 陶哲轩发起众包优化常数仓库,Komlós 猜想已收录为 C_24 — IgorCarron · 2026-09-21
- Hugging Face 发布 tokenizers v1,性能比 v0.23 快数十倍 — art_zucker · 2026-09-21
- GLiNER2 用 schema 条件化编码器重做 NER，引 LLM 对比讨论 — SGmoze · 2026-09-21
- 把问题放到 prompt 开头，本地 Qwen 准确率 89%→100%，延迟降 5 倍 — Micha0827 · 2026-09-21
- Eidon AI 关闭前开源 9TB 第一人称家务视频数据集 — victormustar · 2026-09-21
- 新研究证明均匀/高斯扩散与 unmasking 并行生成能力存在二次方差距 — LucaAmb · 2026-09-21