Goodfire 解剖 Inkling 2 Mini:循环模型的层能读写「未来」的自己

fatihdin4en · x · 2026-11-21

Thinking Machines 发布 26B 循环 transformer(looped transformer)Inkling 2 Mini 后,可解释性公司 Goodfire 获得早期权重访问,研究了这种新架构的内部信息流机制。

关键发现:循环模型的层可以写入自身,或直接读取「未来」层的信息——层与层、块与块、循环与循环之间的协调方式与传统 transformer 直觉相悖。Goodfire 通过对每层输入做分解,能看清哪些层、块、循环在互相通信。

作者据此表达乐观:随着 transformer 架构持续演化,理解其内部机制的能力也能同步演化,希望这项研究促进不同架构间可解释性洞见的交叉流动。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →