零参数模型揭示神经网络结构
A_Freaky-Frog · reddit · 2026-07-15
这篇研究声称构建了一套新的“读懂模型内部结构”的仪器，并且在公开、预注册、可复现的前提下，第一天就得到了结果。 ### 核心方法 作者把模型权重变换到一种“谱基”中，再和随机打乱的权重作对比；凡是仍然保留下来的信号，被视为训练过程写入结构的痕迹，而不是纯统计噪声。 ### 主要发现 - **Embedding 层最关键**：11/11 个测试模型都在 token embedding 上出现显著信号，覆盖从 4B 到 1T 参数、不同训练配方的模型。 - **少量结构删除就能严重破坏模型**：删掉 GPT-2 中最强的 **1.5%** 谱系数会让模型几乎失效；同样数量随机删除影响很小，差异约 **150 倍**。 - **结构在训练中逐步写入**：利用公开 checkpoint，作者观察到信号从几乎没有，到 embedding 先“醒来”（约 step 256），再在约 step 4000 达到峰值并进入平台期。 - **梯度很早就携带结构**：在受控实验里，结构信息最早可在 step 4 的梯度中看到，说明优化器决定了这些结构是否被沉积下来。 - **可读出训练数据**：作者称其探针能把模型真实训练语料排到第一，并能识别对公开文本的逐字记忆；例如 Gettysburg Address 可复现到 9 个词。 - **“思考文本”与答案不同**：模型的 reasoning 片段在该计数签名上与最终回答存在可测差异，注意力模式也更接近理论预测的级联比例。 ### 开放材料 作者还给出了工具包、指南、理论仓库和更新到 v4.3 的论文链接，并表示正在继续做 scaling ladder、拟合沉积曲线和探测注意力的最后空白角落。