MIT 团队拆解 Claude「全局工作区」：J-lens 平均后仅保留不足 10% 方差
burny_tech · x · 2026-10-29
针对 Anthropic 的 J-space 论文，MIT 的 @neurostrow 与 Fiete 组分析了其 Jacobian lens（“全局工作区”）到底捕捉到了什么：
- J-lens 对大量 prompt 和位置做平均，而平均值可能与被平均的个体截然不同——在四个开源模型中，平均后的 Jacobian 明显落在单个 Jacobian 云团之外。
- 平均后存活下来的方向是随层增长、跨文本稳定、且在各种上下文中表现一致的方向；这也解释了为什么 J-space 只是激活空间的一小部分（方差不足 10%）。
- 作者在 @mostikai 也关注同样的问题：模型内部状态中哪些部分足够稳定，能被另一个模型读取。
「研究」频道最新
- 研究发现 Llama 隐状态呈 3D 螺旋,暗合元素周期表结构 — burny_tech · 2026-10-29
- 研究者窥探 Mamba 神经元:可定位并放大单个词的触发机制 — burny_tech · 2026-10-29
- Apple 招 PhD 实习生，主攻视频 LLM 的落地推理与端侧模型 — HildeKuehne · 2026-10-29
- NeurIPS 新工作 MASEM:面向目标条件 RL 的多样化机器人状态采样 — KyleMorgenstein · 2026-10-29
- 无需读论文：四步用本地小模型和 Claude 玩转 mech-interp — burny_tech · 2026-10-29
- J-lens 可直接读出神经元人格词，仓库即将开源 — burny_tech · 2026-10-29