用曲率衡量表示是否真正收敛
its_vayishu · x · 2026-07-18
作者指出，衡量表示在层间“移动了多少”时，arc length（弧长） 不是好指标，因为它只是在累加步长：轨迹即使来回折返，弧长也会很大，但并不代表有真正进展。
他主张改用 curvature（曲率），即连续位移向量之间的夹角，来判断方向是否在稳定。
- 低曲率：说明网络后层里表示正在选定方向并持续推进
- 区别于距离/弧长：曲率能区分“真实收敛”与“只是来回运动”
- 这在 layer-wise interpolation / latent trajectories 里尤其有用，而且计算成本很低
「研究」频道最新
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 弗莱堡生成智能实验室通过 ELLIS 项目招收多名全奖博士，10月31日截止 — yuyinzhou_cs · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- Wakaru 开源 ontologize:用模型激活为数据集自动生成本体标签 — amplifiedamp · 2026-10-27
- EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制 — ZhijingJin · 2026-10-27