新研究：训练后权重为何呈现 α≈2 幂律尾，或可指导优化器设计
burny_tech · x · 2026-11-01
CalcCon 发布论文《A Spectral Renormalization-Group View of Learning》，提出神经网络会在权重中留下可分析的「学习谱记录」。核心问题：为什么训练良好的层在权重谱上往往出现接近 α≈2 的幂律尾？作者认为这一谱现象可用于设计更好的优化器并防止过拟合，线程共 11 部分展开。
「研究」频道最新
- 论文详解 Transformer 循环复用权重：参数受限套 8 圈最划算 — burny_tech · 2026-11-01
- LessWrong 新文反驳 SAE 质疑论文：实验设置对 SAE 过于苛刻而非宽松 — burny_tech · 2026-11-01
- LeCun 新论文证明柏拉图表示假说：JEPA 对齐样本效率高 42 倍 — burny_tech · 2026-11-01
- 用脑机接口读取大脑唤醒信号,给 AI 做隐式个人化奖励 — burny_tech · 2026-11-01
- 研究：句法演化源于对既有感觉运动回路的渐进式功能复用 — abenitezburraco · 2026-11-01
- Eric Michaud 谈可解释性的双重使命：描述模型算法并解释其为何被学到 — burny_tech · 2026-11-01