逐 token 可视化 Transformer 运算,两年实验成果超越九成论文

ctjlewis · x · 2026-09-28

作者 ctjlewis 展示了一项对 Transformer 内部运算的可视化工作:能逐 token 显示写出内容,并对运算中每个槽位着色,直观呈现信息如何从先前 token 流向下一个 token——实心填充表示计算出的值,带边框则表示从 tape-memory 中读取先前值的复制操作。

作者称这项工作将覆盖跨越几代模型、历时两年的计算实验,并直言其质量胜过 99% 的学术文献——后者多为抱怨模型“做不到什么”的内容。

所属事件:可视化 Opus 4.6 大数乘法内部计算,两年实验成论文(6 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →