可视化拆解注意力轨迹:逐 token 展示模型计算与复制操作

ctjlewis · x · 2026-09-28

ctjlewis 分享了一套执行轨迹可视化方法:图中精确标出每一步写入的 token,并用颜色区分各操作槽位,展示信息如何从上一个 token 流向下一个。实心填充表示计算得到的值,带边框的则是复制(copy)操作——即从 tape-memory 中读取先前的值。最终 return 语句由一系列复制操作组成,把每步末尾收集的 O… 值组装成一条序列。

所属事件:可视化 Opus 4.6 大数乘法内部计算,两年实验成论文(6 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →