用 Agent 画热力图:分层 stream 的 query 相似度差异显著
stochasticchasm · x · 2026-11-13
发帖人用 agent 绘制了 attnres queries 与分流 q/k/v stream queries 的余弦相似度热力图,观察到分流 stream 的 queries 彼此之间、以及与普通 attnres queries 相比,在模型后段层中相似度明显更低;MLP 与 attention 的 queries 也持续表现出显著差异。
所属事件:可解释性分析揭示 Inkling 2 Small 注意力分流结构(2 条相关)→
「研究」频道最新
- 斯坦福课程展示：用 AI 的学生作业得分更高但考试更差 — stanfordnlp · 2026-11-13
- Cartwheel 实现手-物体运动学捕捉突破：任意视频可提取抓取与接触压力 — andrew_n_carr · 2026-11-13
- 基因组模型基准更新:AlphaGenome 2 与 Cerberus 仍难预测远端增强子 — anshulkundaje · 2026-11-13
- JoMoHa 同时 RL 训练模型与 Harness，ALFWorld 成功率达 97% — omarsar0 · 2026-11-13
- LATENTLENS 无需训练解码视觉 token 在语言模型中的真实含义 — burkov · 2026-11-13
- YC F26 团队开源单会话跑一万智能体的运行时 — KlausCodes · 2026-11-13