Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己
fatihdin4en · x · 2026-11-21
Thinking Machines 发布 26B 循环 transformer(looped transformer)Inkling 2 Mini 后,可解释性公司 Goodfire 获得早期权重访问,研究了这种新架构的内部信息流机制。
关键发现:循环模型的层可以写入自身,或直接读取「未来」层的信息——层与层、块与块、循环与循环之间的协调方式与传统 transformer 直觉相悖。Goodfire 通过对每层输入做分解,能看清哪些层、块、循环在互相通信。
作者据此表达乐观:随着 transformer 架构持续演化,理解其内部机制的能力也能同步演化,希望这项研究促进不同架构间可解释性洞见的交叉流动。
「模型」频道最新
- Thinking Machines 发 Inkling 2 Mini:26B 循环 MoE 本地模型,支持 1M 上下文 — mervenoyann · 2026-11-21
- Claude Opus 5.5 用 computer use 驱动 Onshape 做 CAD 仿真,体验惊艳 — adhamelarabawy · 2026-11-21
- METR Time Horizon 2.0 附录偏少引研究者吐槽,主题截图流出 — dfrsrchtwts · 2026-11-21
- KOL观察:Gemini 的「人格魅力」靠数据策展而非蒸馏取胜 — iruletheworldmo · 2026-11-21
- Inkling 2 Mini 本地跑通:26.4B MoE 仅需 16GB 内存,编码成绩同级最强 — simonguozirui · 2026-11-21
- 可解释性黑客松被搅局:全员疯传 Claude 攻克黎曼猜想 — burny_tech · 2026-11-21