Goodfire 在 Llama 3.1 8B 中发现操控流形的通用加法模块
burny_tech · x · 2026-09-11
可解释性公司 Goodfire 发布研究《A Geometric Calculator Inside a Neural Network》,在 Llama 3.1 8B 中找到一个跨任务复用的「加法模块」:
- 模型做月份推算(如 8 月往后 6 个月)时,会把月份转成数字 8,计算 8+6=14,再映射回二月——全部在单次前向传播内完成
- 数字以 Fourier 特征表示,在激活空间中呈现圆环状流形,模块实质是在流形上做几何运算
- 该加法机制被复用于多个具有加法结构的任务,说明模型共享几何计算部件
作者团队来自 Goodfire、Northeastern、Harvard、Technion 等机构,论文已挂 arXiv。这项工作展示了理解神经表示几何如何解释模型的行为与泛化方式。
「模型」频道最新
- Leike：Opus 4 防越狱方案耗时逾一年，安全干预赶不及模型 — janleike · 2026-09-11
- DeepSeek 或打破 V<N> 命名惯例,新架构自称训练更稳定 — stochasticchasm · 2026-09-11
- DeepSeek 新模型技术报告:KV Cache 较 DSV4-Flash 缩小 4 倍,训练更稳定 — stochasticchasm · 2026-09-11
- 开源 CyberTiel 35B 去审查后反而更强：速度达 Qwen3.8 的 3.7 倍 — peculiar-ragdoll · 2026-09-11
- GLM-5.3 霸榜 CyberGym：前两名 agent 均采用，前六占四席 — pcuenq · 2026-09-11
- gpt-live 开源上线:每分钟 0.05 美元打造自己的语音 Codex — pbbakkum · 2026-09-11