Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone
Chenyu Zhu, Ruoyu Zhao, Zhichao Lu
cs.LG, cs.AI
2026-09-19
港城大用Marchenko-Pastur定律，只凭层尺寸闭式算出Neural Spectral Capacity，无需实例化网络。FlexiBERT上Kendall τ达0.695；动态规划2秒搜出WikiText-103上PPL 23.087的Transformer-XL；无校准把LLaMA-7B剪到5.7B，八项常识平均65.47。
设计或压缩 Transformer，最后都是在预算里分配容量：深一点还是宽一点、FFN 比例、头数、专家怎么铺。#Params 和 #FLOPs 看见的是体积和算力，看不见结构。同一参数量、不同深度-宽度或头分配，得分一样，训起来却不一样。现有零训练代理（SNIP、W-PCA、ZeroLM）倒是能打分，但每评一个候选都要实例化网络、喂输入、算激活或梯度，分数还跟着随机种子和样本走。它们是黑盒，只能进化搜索，搜到的是访问过的最好点，不是代理目标下的全局最优。
缺的是一个只吃架构规格、对结构敏感、还能精确优化的标量。
NSC 把每块权重矩阵看成线性高斯信道。谱容量定义为 ln det(I + WᵀW)，等于各奇异值 σᵢ 上 ln(1+σᵢ²) 的和，也就是 Telatar 互信息去掉常数 1/2。标准随机初始化下，奇异值平方服从 Marchenko-Pastur 定律，期望谱容量变成只依赖矩阵尺寸 (m, n) 和初始化方差 s² 的闭式，叫 ψMP。Xavier 或 Kaiming 一旦固定，s 也由形状决定，整网分数就是各层各矩阵 ψMP 的和。
计入的矩阵：每头 Q/K/V、注意力输出投影、FFN。卷积先 reshape 成 im2col 线性映射再算。Embedding、bias、归一化和非线性不算。多头按头拆开，才能区分头数不同的架构。层内求和对应并联信道；跨层求和是经验选择，消融里比 min 瓶颈和其它聚合更稳。
因为分数对层可加、资源约束也对层可加，最大化 NSC 就是背包问题。NSC-DP 枚举网络级决策（深度、嵌入维），对每层头数和 FFN 宽度做精确动态规划。一次运行还能读出整条预算 Pareto 前沿。算一次 ψMP 大约 10 微秒，10³² 规模的搜索空间在单 CPU 上数秒内结束。
FlexiBERT 500 个 BERT 变体，NSC 的 Kendall τ 是 0.695，#Params 0.485，#FLOPs 0.552，W-PCA 0.635。参数量相差不到 10% 的成对比较里，#Params 掉到 0.082，NSC 仍有 0.505。500 个架构 CPU 上 2 毫秒；W-PCA 在 A100 上 88 秒。AutoFormer-Tiny、NATS-Bench-SSS、MobileNetV3 上，10%-PW τ 也都高于 #Params。
Transformer-XL、非嵌入参数约 38.4M、WikiText-103 从零训：
| 方法 | Test PPL | 搜索耗时 |
| Transformer-XL Base | 23.279 | — |
| Synaptic Diversity | 23.135 | 903 秒 |
| Softmax Confidence | 23.532 | 883 秒 |
| W-PCA | 23.669 | 965 秒 |
| NSC-DP | 23.087 | 2.0 秒 |
AutoFormer-Tiny、5.8M 参数：NSC-DP 的 Acc@1 是 75.276，oracle 75.308，搜索 0.03 秒对 24 GPU 天。
LoNAS 超网上把 LLaMA-7B 结构化剪到 5.7B，无校准数据。八项常识平均：NSC-DP 65.47，W-PCA 63.83，GradNorm 62.45。NSC-DP 每项都最高，CPU 0.5 秒；W-PCA 在 GPU 上 45 分钟，大约快 5900 倍。
给架构搜索和结构化剪枝一条可以当目标函数用的规格分数：不用实例化、不用数据、不用梯度，还能精确求解。PPL 从 23.279 降到 23.087 是小步。更有用的是剪枝设定，NSC 不看预训练权重和校准 batch，和 Wanda、SparseGPT、LLM-Pruner 的工作方式相反。适合先快速筛结构，再把算力留给真正的训练。附录还证明 Transformer-XL 搜索空间里，均匀的逐层 FFN 分配是这个代理目标下的最优，DP 不会偷偷堆出很歪的层宽。
它仍是代理。DP 保证的是 NSC 最大，不是下游损失最小。跨层相加没有信息论含义，只是消融里最好用。
论文没有单独的局限节。能看出的缝：LLaMA 实验走 LoNAS 超网的 FFN 宽度和 LoRA 秩，不是任意结构化剪枝；选到的子网还要继承超网权重。初始化时刻整个谱都在 MP 体里，训练后的重尾谱 NSC 故意不算。10 个 GPT-2 架构上初始化排序与收敛 PPL 相关系数为 1.00，样本小、尺寸跨度大，大规模结果是 Spearman ρ 在 0.78 到 0.97。WikiText-103 的 PPL 增益不到 0.2，实务意义有限。信道模型定义的是 ψ，并不声称网络前向真的在跑这个高斯信道。