仅2-4次SGD更新即出现权重签名，权重已偏移约8%
maier_ak · x · 2026-10-28
作者分享其关于神经网络权重置换对称性研究的一手观察：
- 模型签名（signature）在仅 2 到 4 次 SGD 更新后即出现，此时权重已移动约 8%。
- Git Re-Basin 的对齐效果优于作者 2019 年的方法。
- 局限：仅测试单隐藏层、三个相似数据集，且未展示吸引子（attractor）。
作者附上完整文章链接供深入阅读。
「研究」频道最新
- 小红书联合复旦提出 DR-Rubric，用 agent 生成评分细则作 RL 奖励 — jiqizhixin · 2026-10-28
- Goertzel 力挺 AI 审稿：称其已强于人类评审但更难纠偏 — bengoertzel · 2026-10-28
- 开发者入选 DeepMind 抗引力科学计划，称 Gemini Argon 达生物医学 AI 前沿 — DeryaTR_ · 2026-10-28
- PDRVLA 用物理动力学表征刷新 LIBERO 等四大机器人基准 — Hanqing Wang · 2026-10-28
- 港科大论文：策略暗藏 harness 偏好，部署收益=harness 上限-策略失配 — HKUSTGZ · 2026-10-28
- 阿里达摩院发布跨本体世界模型 RynnWorld-Latent：553.5M 帧联合预训练 — Alibaba-DAMO-Academy · 2026-10-28