可视化展示基础模型内部电路追踪的注意力与 MLP 结构
Sauers_ · x · 2026-10-14
一张展示对基础模型做电路追踪（circuit tracing）的可视化图：以「…structure involved the creation of」为例，按层级（L0–L3）呈现各 token 间 attention 与 MLP 组件的贡献，节点与连接粗细对应消融时的比特影响量。
「研究」频道最新
- 多家机器人团队趋同：训练多个 RL 专家再蒸馏成通用控制器 — KyleMorgenstein · 2026-10-14
- 放射性肽靶向癌细胞 III 期临床成功，可精准「核爆」肿瘤 — surmenok · 2026-10-14
- Nvidia 推出 TacitVLA：隐式推理让 VLA 延迟降 3.4 倍不损性能 — nvidia · 2026-10-14
- JevGPT 双系统架构：自主研究智能体更快更低成本完成检索推理 — Yasheng Sun · 2026-10-14
- 47 个 LLM 心理测量审计：合成调查受访者仍不及高斯 copula 基线 — Mantas Lukauskas · 2026-10-14
- 100 小时视觉-动作-触觉数据集 EgoExplorer 助力人形机器人学习 — InternRobotics · 2026-10-14