可解释性分析揭示 Inkling 2 Small 注意力分流结构

社区作者利用 agent 对 Thinking Machines 的 Inkling 2 Small checkpoint 进行可解释性分析，用热图可视化全部 112 个学习的深度查询，并比较 attnres queries 与分流 q/k/v stream queries 的余弦相似度。结果显示后期层的分流 query 存在显著差异，分层 stream 的 query 相似度表现出明显区别，为理解该模型内部注意力机制提供了新线索。

2026-11-13 ~ 2026-11-13 · 2 条相关

• Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著 — stochasticchasm · 2026-11-13
• 用 Agent 画热力图:分层 stream 的 query 相似度差异显著 — stochasticchasm · 2026-11-13