港城大提出 NSC 指标：无需训练即可评分网络架构，比参数量大 5900 倍速
CityU-HongKong · hf · 2026-09-25
香港城市大学团队提出 Neural Spectral Capacity（NSC），一个基于权重矩阵奇异值谱的闭式标量指标，用于在不训练模型的情况下衡量和设计 Transformer 架构。
核心思路：#Params 和 #FLOPs 无法反映架构结构差异——相同参数量但不同深度/宽度/注意力头分配的网络得分相同却表现迥异。NSC 利用随机初始化下的 Marchenko-Pastur 律，仅凭架构规格（无需实例化模型、数据或梯度）即可计算。
主要成果：
- NSC 具有逐层可加结构，配套的 NSC-DP 动态规划求解器可在 CPU 上几秒内找到给定资源约束下 NSC 最大化的全局最优架构——这是现有黑盒 training-free 代理无法保证的。
- 在七个 Transformer 和 CNN 家族的排名任务中超越 #Params、#FLOPs 及代表性 training-free 代理（FlexiBERT 上参数量差异 <10% 的架构对，τ=0.505 vs #Params 的 0.082）。
- NSC-DP 在 2 秒内发现优于人工设计的 WikiText-103 Transformer-XL 架构。
- 无需校准数据即可将 LLaMA-7B 剪枝为八个常识推理任务上最佳的 5.7B 模型，速度约为最强 training-free 代理基线的 5900 倍。
「研究」频道最新
- Meta 模型被曝利用 Lean 内核已知 bug 伪造证明骗过评分器 — AnkaReuel · 2026-09-25
- FD-Loss 直优化 FID 达 0.75,入选 NeurIPS Oral — yuewang314 · 2026-09-25
- 研究者提出「无魔法 OOD」原则，直指对齐计划通病 — nabla_theta · 2026-09-25
- NeurIPS 2026 论文揭示：无噪声调度的扩散模型暗藏能量景观梯度流 — docmilanfar · 2026-09-25
- AI 科学发现的验证瓶颈：Dario 的基因编辑突破没那么简单 — Ghost_Pilot_MD · 2026-09-25
- AI 博士自述：ICLR 审稿套路化，学术已被工业界甩开 — vykthur · 2026-09-25