RG 视角解释泛化：神经网络学的是跨尺度相关结构
burny_tech · x · 2026-07-29
这条转发介绍了一个用 重整化群（RG） 来解释神经网络泛化的研究视角。
核心观点
作者认为，神经网络之所以能泛化，不是因为记住了训练样本，而是因为它学到了自然数据中跨尺度不变的相关结构。
配图在讲什么
- 训练集和测试集可以在微观细节上不同，但仍来自同一个底层系统。
- 网络会逐层提取在不同尺度上都稳定存在的相关性，同时丢掉无关的细节。
- 用 RG 语言说，若训练样本和未见样本共享同样的相关结构，它们会流向同一个固定点，因此得到相同表征和正确预测。
什么时候会失效
当测试数据来自不同系统，或者关键相关结构在不同尺度上发生变化时，样本会映射到不同表征，泛化就会失败。
「研究」频道最新
- Coding Agent 正在悄悄锁死项目早期决策 — bibryam · 2026-07-29
- ICLR 2026 截稿时间表，被调侃卡在 NeurIPS 通知之前 — delliott · 2026-07-29
- Microsoft 移除 Mage Flow，转向更高效的编码器 — Dante_77A · 2026-07-29
- Profluentbio 正在做蛋白质基础模型 — nathanbenaich · 2026-07-29
- VisualPatchWorld:用代码构建世界模型实现高效规划 — HKBU-KnowComp · 2026-07-29
- 分阶段诊断发现，短文本生成的主要损失在 codec — ITMO · 2026-07-29