从几何视角理解 ML:ReLU、LayerNorm、LoRA 与向量量化的统一直觉
techNmak · x · 2026-10-01
作者提出一个理解机器学习数学的有用习惯:追问一段数学在“数据所在的空间”上做了什么。许多概念在架构图里只是方框,但都有具体的几何解释:
- 特征映射:在原坐标系难分开的问题,经额外/变换特征表示后可线性可分——边界在新表示里是线性的,映射回原坐标则可能是非线性的。
- ReLU 网络:在激活模式固定的输入区域内,网络表现为仿射函数;跨区域时仿射规则可变,整体函数仍可很复杂。
- LayerNorm:减去均值把向量约束到“坐标和为零”的超平面;除以标准差再固定范数——三维下归一化向量落在该平面与球的交线(一个圆)上。后续的 learnable scale 和 bias 使最终输出不再限于这个圆。
- LoRA:权重更新是两个小矩阵之积,秩不超过设定的 rank,输出变化被限制在低维子空间。
- 向量量化:欧氏最近邻把连续表示替换为有限码本中的条目,码本向量将空间切成 Voronoi 区域,同区域点得到相同编码。
这些方法目的各异、互不等同,但共享同一套数学语言:空间、维度、区域、距离、秩与约束。用这套语言思考,往往比只看架构图更能理解模型在做什么。
「研究」频道最新
- Burkov 周报第 180 期：小米开源 MiMo-V2.6、物理学家式剪枝 LLM 等 — burkov · 2026-10-01
- Noam Brown 自述：一张海报前唯一的访客，如今成 OpenAI 同事 — polynoamial · 2026-10-01
- 伯克利Simons研究所扩散生成模型博士后研究员开放申请 — gautamcgoel · 2026-10-01
- 给单个AI人格造一个持续运行的内心世界,架构方案求拍砖 — OrionForgeEcosystem · 2026-10-01
- HCOMP 2026 最佳论文:以读者满意度为轴重新定义摘要评测 — windx0303 · 2026-10-01
- HCOMP 2026 末场聚焦:跨线上与物理环境的错误信息信念研究 — windx0303 · 2026-10-01