重整化群理论解释大模型涌现与泛化机制
burny_tech · x · 2026-08-01
有研究者指出，神经网络之所以能够泛化而非仅仅死记硬背训练数据，其根本原因可能在于重整化群（RG）理论以及自然数据的尺度不变关联结构。
相关论文指出，RG理论满足了模型“涌现”的所有核心条件：
- 缩放：随着通用组件的规模扩展，网络内部会产生新的组织结构。
- 临界性：当网络层参数 alpha=2 时，系统会经历类似相变的突变。
- 压缩：模型利用内部的压缩表示来实现泛化能力。
「研究」频道最新
- RLHF 数据成 AI 经济闭环核心，高质量数据设计决定模型生死 — herbiebradley · 2026-08-01
- 斯坦福学者阐述生成式 AI 与智能体在心血管药物发现中的应用 — james_y_zou · 2026-08-01
- 会计任务大考：58%难题无模型能解，Claude居首 — EdwardSun0909 · 2026-08-01
- 图像文本存在性检测：纯二分类任务下的最佳架构探讨 — Relative-Pace-2923 · 2026-08-01
- 论文探讨 AI 全面融入放射学教育 — PRouzrokh · 2026-08-01
- Caltech 推出人类智能启发的多模态 AI 电子皮肤 — yisongyue · 2026-08-01