可视化拆解注意力轨迹:逐 token 展示模型计算与复制操作
ctjlewis · x · 2026-09-28
ctjlewis 分享了一套执行轨迹可视化方法:图中精确标出每一步写入的 token,并用颜色区分各操作槽位,展示信息如何从上一个 token 流向下一个。实心填充表示计算得到的值,带边框的则是复制(copy)操作——即从 tape-memory 中读取先前的值。最终 return 语句由一系列复制操作组成,把每步末尾收集的 O… 值组装成一条序列。
所属事件:可视化 Opus 4.6 大数乘法内部计算,两年实验成论文(6 条相关)→
「研究」频道最新
- Google 开源 PaperOrchestra:多 Agent 自动写 AI 研究论文 — google-research · 2026-11-16
- Fable 5.2 解谜好到可疑:仍答对已被更新作废的旧版迷宫答案 — patience_cave · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16