线性模式连通性:测试损失上出现、训练损失上却没有的被低估现象
_arohan_ · x · 2026-09-28
Google 研究员 arohan 称线性模式连通性(linear mode connectivity)是训练神经网络最被低估的特性之一,并回顾了自己四年前发现的现象:测试损失上存在线性连通,训练损失上却没有,当时令他极为震惊。
引用的更新来自 @stanislavfort 的复现:用 DistributedShampoo(训练损失趋近 0)后,train/test loss 为 0.0002/0.314(对比 0.350/0.333),train/test accuracy 为 0.999/0.982——这一现象在低训练损失区间依然成立。
所属事件:线性模式连通性引发热议与发现归属之争(2 条相关)→
「研究」频道最新
- NLP 学者 Nakov:LLM 生成的论文读起来像意大利语空话「supercazzola」 — preslav_nakov · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16