Inkling 2 Small 深度查询热图:q/k/v 分流后期层差异显著
stochasticchasm · x · 2026-11-13
作者让 agent 对 Thinking Machines 的 Inkling 2 Small checkpoint 做了一项可解释性分析:用热图可视化全部 112 个学习的深度查询(depth queries,含 attention residual 的普通查询与 q/k/v 分流查询)之间的余弦相似度。
关键观察
- 分流后的 q/k/v 查询相互之间的相似度明显更低,且这种差异集中在网络的后期层,而普通 attention-residual 查询在后期层仍保持较高相似度。
- 热图按前向顺序排列,虚线标出 6 层块的起始位置,可清晰看到各层块查询相似度的块状结构。
背景:该模型由 Songlin Yang 发布,称为 Inkling 2 Small,相比上一代架构调整包括 attention residuals(q/k/v 分流)、gated attention、dynamic attention sink、dynamic shortconv、value norm 等。作者还预答了"linear attention 什么时候出"的追问。这条帖子展示了用 agent 快速跑模型内部结构分析的做法。
所属事件:可解释性分析揭示 Inkling 2 Small 注意力分流结构(2 条相关)→
「编程与Agent」频道最新
- 开发者给编程 Agent 写了个 OP-1 风格 skill,把合成器体验带进开发流 — narphorium · 2026-11-13
- 面向 agent 的无头 3D 引擎 vork 开源: agent 用代码写场景与着色器 — ravisparikh · 2026-11-13
- agent 集群每月烧 300 万美元 token 开发多人游戏,「一小时不发版当 SEV-0」 — dl_weekly · 2026-11-13
- GitHub Copilot CLI v1.0.110 发布：agent 可代答 sudo 密码、/compact 尊重额度上限 — copilot-cli-release-app[bot] · 2026-11-13
- Replit Agent 新增自动采购与广告投放，从做产品走向经营生意 — amasad · 2026-11-13
- 2-bit DeepSeek V4.1 Flash 在双 V100 上跑编码 agent:12 小时实测 — a4mula · 2026-11-13