预print重大修订:最小权重范数渐近等价于 Kolmogorov 复杂度
TacoCohen · x · 2026-11-19
Tiberiu Musat 的预印本《Minimum Neural Weight Norm = Kolmogorov Complexity》发布重大修订,Taco Cohen 转发关注:
好消息
- 修正后结论更强:最小权重范数与 Kolmogorov 复杂度(除以其对数)之比在极限下趋于 1,即真正的渐近等价,而 v1 只证明了对数级分离间隙。配图给出定理形式:固定精度 Looped Transformer 上 min‖θ‖ₚᵖ K(f)/log₂K(f)。
- 证明基于两个约化:looped 网络可经稀疏模式以每非零参数对数级比特编码信息;任何固定精度网络可通过枚举非零参数加对数寻址成本来描述。
坏消息(作者撤稿声明)
- v1 声称「高斯权重先验可诱导程序上的 Solomonoff 先验」,该证明存在根本性错误,作者已完全删除相关主张并致歉。
适用范围
- 结论仅适用于常数精度权重的图灵完备神经架构,包括 Looped Transformer 与 CoT Transformer,不适用于标准 Transformer、CNN、有限状态 RNN 等。
该工作为「权重衰减为何有效/深度学习为何泛化」建立了范数最小化与算法简洁性之间的理论桥梁。
「研究」频道最新
- Erik Hoel 撰文反驳「意识无法定义」迷思:专家对定义其实高度一致 — koltregaskes · 2026-11-19
- 六位学者联合发布强化学习非渐近统计理论专著 — chaumian · 2026-11-19
- 乌兹别克语语料库登上 Hugging Face 热门,规模 100 万级 — Digitaluz · 2026-11-19
- 上交大发布 StrideWorld:交互式视频世界模型多数会“弄变形”场景 — SJTU · 2026-11-19
- KIT 提出 WaveView:把新视角藏进初始噪声相位,NVS 又快又准 — KIT-Karlsruhe · 2026-11-19
- Frank Nielsen 团队给出对称正定双锥 Hilbert 距离闭式公式 — FrnkNlsn · 2026-11-19