机制可解释性新假设：神经网络从训练第一步就开始泛化
burny_tech · x · 2026-10-16
zeeshanp 转述一篇 mech interp 新研究的有趣假设：神经网络可能从训练的第一步就开始泛化，这与前沿实验室中流行的「大模型先记忆数据、训练后期才泛化」假设截然不同。他认为这意味着机制可解释性已成熟到可以严格审计学界关于训练动力学等旧假设的程度，令人兴奋。
「研究」频道最新
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- inFERENCe《机器学习手册》：四种把难题变为可解问题的变换 — goyal__pramod · 2026-10-16
- Transluce 实践者反思：神经元自动解释一年后仍难解释复杂行为 — aryaman2020 · 2026-10-16
- Transformer 训练蝙蝠神经数据建成海马体"数字孪生",揭示未知群体活动结构 — patrickmineault · 2026-10-16
- RLM 发布一周年:递归语言模型让 GPT-5-mini 长上下文成绩翻倍且更省钱 — a1zhang · 2026-10-16
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16