新论文:Transformer 收敛到不变「算法核心」,跨模型提取
pickover · x · 2026-11-20
Schiffman 的新论文《Transformers converge to invariant algorithmic cores》提出:训练只约束行为而非内部机制,许多权重配置可实现同一函数,研究单个训练好的网络可能只描述了某次训练的偶然性。论文引入 Algorithmic Core Extraction (ACE) 提取跨独立训练模型反复出现的紧凑子空间并做因果验证。主要发现:
- Markov-chain Transformer 将 3D 核嵌入近乎正交的子空间,却恢复出相同的转移谱
- 模加法 Transformer 在 grokking 时形成紧凑循环核,继续正则化后膨胀并冗余分布,功能冗余加速从记忆到泛化的转变,得出 grokking 时间的逆缩放律
- 在 GPT-2 Small/Medium/Large、LLaMA-3.1、Gemma-2、Qwen2.5 六个跨越两个数量级规模的语言模型中,主谓一致由单一可操控轴控制,且跨架构对齐;翻转该轴可在开放生成中反转语法单复数
所属事件:新论文:Transformer 收敛到跨模型不变「算法核心」(2 条相关)→
「研究」频道最新
- Prime Intellect RL Residency 回顾:资助独立研究者做开放评测与训练 — lateinteraction · 2026-11-20
- UCSF 脑科学研究发现 Wernicke 区亚区在说话前编码即将说出的词 — StartupYou · 2026-11-20
- ChatGPT 6.2 被指证明未解猜想并提出新猜想,沟通差是最大短板 — apples_jimmy · 2026-11-20
- NormGym 基准发布:Agent 难从他人行为中学到社交规范 — xuanalogue · 2026-11-20
- Rutgers 教授趣谈:近期数学重大突破多是「罗格斯定理」 — AlexKontorovich · 2026-11-20
- 科学家给 HF datasets 开 PR:BIDS 神经影像与生物电信号支持 — evijit · 2026-11-20