权重挪动 1.3% 表征大变,HNC 方法挑战柏拉图表征假说
neuroecology · x · 2026-10-15
新论文提出 Hessian Null Space Continuation(HNC) 方法,可在不改变网络预测的情况下系统探索解空间,并对「柏拉图表征假说」提出实证挑战。
- 核心发现:将一个 ViT 的权重沿 Hessian 零空间移动仅 1.3%、预测完全保持不变,其内部表征与原模型的相似度竟低于一个随机初始化 ViT 与原模型的相似度——说明训练网络周围的表征多样性极大。
- 论证脉络:神经网络解谷广阔稠密,沿 HNC「漫游」可遇到大量性能相同的解,其中一些与其他模型或大脑表征对齐,一些完全不对齐。这表明表征对齐并非任务优化的必然结果,而可能取决于优化器等选择。
- 附加价值:HNC 还可用于主动寻找具备稀疏性、安全性等理想性质的解,而不牺牲性能。
- 工作由 Ann Huang 主导,作者称这并不意味着表征对齐是「幻觉」,只是它不是不可避免的。
所属事件:HNC 方法:权重仅动 1.3% 表征剧变(3 条相关)→
「研究」频道最新
- 斯坦福 CS312「深度学习炼金术」新课:跑实验+预测结果练直觉 — stanfordnlp · 2026-10-15
- RLVR 数据 88% 陷入零优势陷阱,MagicBeanStalk 递归合成破解 — stanfordnlp · 2026-10-15
- DuoDiscover 破评测瓶颈:TPU 内核性能提升 2.68 倍 — stanfordnlp · 2026-10-15
- 单轨自行车机器人 UMV 登 Sci Robotics,会跳跃翻转特技 — joemeno · 2026-10-15
- 哈佛博士后五年磨一剑:BARRACUDA 让合成生物电路设计工程化 — NikoMcCarty · 2026-10-15
- LLM 智能体做材料科学:Samuel Alfred 在德州南方大学开讲 — Fowe · 2026-10-15