LLM训练动力学的新低维结构
orvieto_antonio · x · 2026-07-17
这篇预印本讨论了 **LLM 训练过程中参数空间的可解释结构**。 作者提出：在某些数据对称性条件下，参数空间里会出现一个**低维子空间**，其训练动力学是自洽的；如果从这个子空间开始训练，轨迹会一直留在其中。这样就能把原本“亿级参数”的训练过程，约化成少量伪参数来分析。 论文还强调这个子空间具有较强的**可解释性**：每个坐标对应明确机制。例如，一个 induction head 可以分解为该子空间中的 3 个方向。作者表示这会让理论分析和实验研究都更可操作。