新研究：不同任务会把神经网络权重拉向权重空间中不同聚类
wschroll · x · 2026-10-26
FAU Erlangen-Nürnberg 等机构团队在 Frontiers in Cognition 发表论文，探究「不同学习任务是否像吸引子一样，把训练中的神经网络拉向权重空间的不同聚类」。
- 方法上对齐了独立初始化的浅层网络的隐藏单元(消除置换与 ReLU 缩放等价性)再比较权重。
- 结果：在同一数据集上训练的网络，权重结构比在不同数据集上训练的网络更相似。
- SGD 前几次更新中准确率急剧上升而离初始化位移很小，且这些微小位移在结构上并非中性——数据集信息在早期即被写入权重。
论文支持吸引子框架：随机训练也会把模型组织进可复现的、任务相关的状态空间区域。
「研究」频道最新
- 看到高度抽象的代码,是人类的功力还是 RL 的隐式世界模型? — akbirthko · 2026-10-26
- Nature 子刊 fMRI 基础模型疑造假:PubPeer 匿名者用 seed 42 实锤 — bttyeo · 2026-10-26
- Reddit 用户从零学 RL,发布一页纸基础笔记站 neatrl — East-Muffin-6472 · 2026-10-26
- 研究发现 token embedding 对 value 向量贡献远超表象 — RichmanRonald · 2026-10-26
- 开发者提出「神经光学流」:参数化传统 CV 电路加速神经网络收敛 — mike64_t · 2026-10-26
- 生物 AI 老兵反驳「无限算力可解决生物学」：瓶颈是数据不是算力 — iScienceLuvr · 2026-10-26