Anthropic 开源 Jacobian Lens
socialwithaayan · x · 2026-07-15
Anthropic 被转述为开源了一套用来“读取模型在说什么之前想什么”的工具，名为 Jacobian Lens（J-lens）。它声称能发现一种称为 j-space 的内部方向集合，在模型写下第一个词之前，就能提取出即将谈论的概念。
帖子对比了几类可解释性方法：
- Sparse autoencoder：更准确，但训练成本高。
- Logit lens：几乎免费，但在早期层容易变噪声。
- J-lens：每层只需一次矩阵乘法，成本低，并且在各层都保持可读。
帖子还列出它的用法与特点：
- 可以把任意层的活动解码成排序后的词表 token
- 支持任意开源 Hugging Face decoder，示例用的是 Qwen
- 提供完整 notebook：加载模型、加载/拟合 lens、渲染层视图
- 还有一个无需配置的在线 demo（Neuronpedia）
- 不包含 Claude 权重或语料，只是用开源模型在本地 GPU 上读取
项目信息显示它有 899 stars，Apache-2.0 许可证，开源免费。
所属事件:Anthropic开源Jacobian Lens探查Claude推理(3 条相关)→
「研究」频道最新
- TRACE 开源：8 小时单卡把 G1 控制器迁移到全尺寸人形 H2 — zhengyiluo · 2026-10-18
- 融资超30亿美元的人形机器人热背后：拆解驱动机器人的 VLA 模型 — scottleibrand · 2026-10-18
- 陶哲轩称「进入战时状态」：OpenAI 宣称求解纳维-斯托克斯问题震动数学界 — AlexTensor · 2026-10-18
- 东京大学研究：听到录音里的自己为何别扭，或因声音恐怖谷效应 — ssh4net · 2026-10-18
- MIT SANDO 无人机规划器:12 次真实飞行全部避开移动障碍 — Olivier__OG · 2026-10-18
- 受可解释性论文启发，无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18