ACE 方法提取 Transformer「算法核心」:跨模型找到可操控的同一根轴
burny_tech · x · 2026-11-20
Joshua S. Schiffman 的论文提出算法核心提取(ACE):不再研究单个训练出的网络,而是定位对任务必要且充分、并在独立训练的模型间复现的紧凑子空间。关键发现包括:
- 马尔可夫链 transformer 的 3D 核心嵌入近乎正交的子空间,却恢复出相同的转移谱。
- 模加法 transformer 在 grokking 时形成紧凑循环核心,继续正则化后核心膨胀,把同一计算冗余分布到多个等价模式;这种功能冗余加速从记忆到泛化的转变,给出 grokking 时间的反向 scaling law。
- 在横跨两个数量级规模的六个语言模型(GPT-2 Small/Medium/Large、LLaMA-3.1、Gemma-2、Qwen2.5)中,主谓一致由一条跨架构对齐的单根可操控轴决定;翻转这根轴可在开放式生成中反转语法单复数。
结论:训练选择的是行为而非线路,ACE 把研究重点从「transformer 恰好做什么」转向「它们必须做什么」。
所属事件:新论文:Transformer 收敛到跨模型不变「算法核心」(2 条相关)→
「模型」频道最新
- 开发者吐槽 Grok 模型是垃圾,晒出编程 agent 反复试错的截图 — feregri_no · 2026-11-20
- 路由省 10 倍成本:Drex Router 建小游戏 $1.26 vs 直用 Opus $13.44 — testingcatalog · 2026-11-20
- flowersslop 炮轰 OpenAI:图像生成满屏 slop 却不做基本 RLHF 打磨 — flowersslop · 2026-11-20
- Model Fight 第16期:Tenet 系列在越狱擂台近乎全胜夺冠 — Dave_Maynor · 2026-11-20
- 编程 Agent 排行榜实测:最贵档位不是最优,max 档 6 倍花费反而少 2 分 — Arindam_1729 · 2026-11-20
- Reddit 热议:29 美元买到 200 美元档 Claude Max 账号,灰产怎么赚钱? — mehdiweb · 2026-11-20