可视化 Opus 4.6 大数乘法内部计算,两年实验成论文
开发者 ctjlewis 在收尾一篇论文期间,连续发帖展示其对 Transformer 内部运算的可视化工作:以 Claude Opus 4.6 计算两个 128 位整数乘法为案例,用动画轨迹图逐 token 呈现模型的内部计算过程。这项工作覆盖两年间、横跨数代模型的计算实验,作者认为模型的大数乘法算法已初具雏形。
已确认
- 可视化方法:图中精确标出每一步写入的 token,并用颜色区分各操作槽位,展示信息如何从上一个 token 流向下一个;实心填充表示计算得到的值,带边框的表示从 tape-memory 进行的复制(copy)操作。
- 训练细节:只用 15 条执行轨迹作为示例,最大规模为 48×48;模型实现了从 48 到 128 的长度泛化。由于复杂度为 O(n²),作者认为这是一次相当大的跨越。
- 作者还阐述了背后的思路:正确回答复杂问题不只是「说出正确的 token」,而是先在权重中完成中间计算,再写出落在狭窄正确分布上的答案,类似人脑做心算时的中间过程。
- 作者晒出了该乘法算法的一般形式,论文将覆盖两年间、横跨数代模型的计算实验。
为什么重要
- 相关讨论中有人指出「我们并非不理解 LLM 的原理」,这项工作为该观点提供了具体的可视化证据:能逐 token 追踪模型在做什么,而非笼统猜测。
- 作者炮轰学界,认为这类正面探索比 99% 只抱怨模型「做不到什么」的学术文献更有价值,其态度本身也引发了对可解释性研究方向的关注。
2026-09-28 ~ 2026-09-28 · 6 条相关
一手来源
- 作者展示 Opus 4.6 计算 128 位整数乘法的动画轨迹图 — ctjlewis ·
- 可视化拆解注意力轨迹:逐 token 展示模型计算与复制操作 — ctjlewis ·
- 仅 15 条轨迹训练,长度泛化从 48 直跳 128 复杂度翻倍仍有效 — ctjlewis ·
- 【源头】作者展示 Opus 4.6 计算 128 位整数乘法的动画轨迹图 — ctjlewis · 2026-09-28
- 两年计算实验成论文,作者称模型大数乘法算法已具雏形 — ctjlewis · 2026-09-28
- 逐 token 可视化 Transformer 运算,两年实验成果超越九成论文 — ctjlewis · 2026-09-28
- 【源头】可视化拆解注意力轨迹:逐 token 展示模型计算与复制操作 — ctjlewis · 2026-09-28
- 【源头】仅 15 条轨迹训练,长度泛化从 48 直跳 128 复杂度翻倍仍有效 — ctjlewis · 2026-09-28
- 48 个执行轨迹让模型长度泛化到 128,中间计算藏于权重 — ctjlewis · 2026-09-28