Goodfire 在 Llama 3.1 8B 中发现操控流形的通用加法模块
burny_tech · x · 2026-09-11
可解释性公司 Goodfire 发布研究《A Geometric Calculator Inside a Neural Network》,在 Llama 3.1 8B 中找到一个跨任务复用的「加法模块」:
- 模型做月份推算(如 8 月往后 6 个月)时,会把月份转成数字 8,计算 8+6=14,再映射回二月——全部在单次前向传播内完成
- 数字以 Fourier 特征表示,在激活空间中呈现圆环状流形,模块实质是在流形上做几何运算
- 该加法机制被复用于多个具有加法结构的任务,说明模型共享几何计算部件
作者团队来自 Goodfire、Northeastern、Harvard、Technion 等机构,论文已挂 arXiv。这项工作展示了理解神经表示几何如何解释模型的行为与泛化方式。
「模型」频道最新
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26