一篇可解释性文章称,transformer 和神经元都用循环表示做算术
burny_tech · x · 2026-07-25
这条转发了一篇把 机械可解释性 和 神经科学 放在一起看的文章。
- 作者自称做了 10 多年系统神经科学,现在开始讨论 transformer 如何像真实神经元一样计算。
- 文中最喜欢的例子是:两者都用循环表示(cyclic representations)来做算术。
- 这篇内容的重点,是从跨学科角度说明神经计算与 transformer 内部表征可能存在相似结构。
「研究」频道最新
- Nature 新研究实现全身器官细胞活动成像,揭示跨器官体级回路 — arjunrajlab · 2026-09-11
- SignNet 1M 手语数据集发布 — ducha_aiki · 2026-09-11
- ECCV26 口头论文:流匹配实现多视角点云配准 — ducha_aiki · 2026-09-11
- InFlux++ 方法发布 — ducha_aiki · 2026-09-11
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11