研究发现 LLM 用傅里叶特征做加法，28 个神经元实现通用机制
banburismus_ · x · 2026-10-18
@dronh 引用其论文指出：语言模型用傅里叶特征计算加法，LLaMA 中一组 28 个 MLP 神经元实现了这一通用加法机制，不同神经元子集对应不同周期的傅里叶特征。@banburismus 以此反驳 @JacobHHilton 关于「加法能力随规模变得更难解释」的论点，认为这恰说明神经元层面可解释时，叠加并不是根本阻碍。
所属事件:LLM 被发现用傅里叶特征做加法，28 个神经元即可实现(2 条相关)→
「研究」频道最新
- 17万篇论文绘成强化学习文献地图：深度RL与机器人是最大子领域 — CatAstro_Piyush · 2026-10-18
- KNOWS 基准：最强网页 Agent 复杂长任务完全成功率不足 3% — anmarasovic · 2026-10-18
- 开源 Engram 记忆引擎：借鉴数据库架构，跑平 Mem0 — phecdaYm · 2026-10-18
- 数学家:成页的平凡分析其实很有效,AI 让写起来前所未有地容易 — jessi_cata · 2026-10-18
- 中国研究者论文称“Harness 工程终结”：评分集取代人写程序 — blaizedsouza · 2026-10-18
- 吴恩达:AI for Science 将成冗词,用 AI 的化学家只是化学家 — andrewgwils · 2026-10-18