MIT 团队为 Anthropic J-lens 可解释性方法建立数学理论
burny_tech · x · 2026-10-27
Mitchell Ostrow、Ila Fiete 等人在 arXiv 发布论文《A Mathematical Theory of the Jacobian Lens》,针对 Anthropic 提出的可解释性工具 J-lens(Gurnee et al., 2026)建立数学理论。
- J-lens 此前在前沿 LLM 的隐藏状态中发现了类似「工作记忆」的线性方向,但为何可被 J-lens 检测到缺乏机制解释。
- 论文证明 J-lens 优先识别的是「相干特征」(coherent features):类似主导的空间相干 Lyapunov 模式,沿这些方向的小扰动会跨层放大、跨 token 位置近似恒定、跨上下文保持一致。
- 作者用最优预测 HMM 生成序列的 Bayes filter 和玩具 transformer 验证:调节改变特征相干性的任务参数,J-lens 响应会相应可预测地变化。
- 还提出一族强调不同时间尺度信息处理的 ω-J-lenses。
论文共 27 页 19 图,归属于 cs.LG。
所属事件:MIT 团队为 Anthropic J-lens 可解释性工具建立数学理论(3 条相关)→
「研究」频道最新
- ETH 反驳共享库现 Anthropic 文件夹，疑藏同一结果新证明 — NoahSD · 2026-10-27
- AI 推翻指数时间假说?附图对比声称的次指数算法与 2ⁿ 增长曲线 — robleclerc · 2026-10-27
- OpenAI 疑似进展触及 3-SAT，指数级难题被指遭挑战 — micoolcho · 2026-10-27
- Google 发布 StreamVibe：能主动捕捉隐含意图的流式视频 agent — google · 2026-10-27
- Qwen-Image-PE：两阶段训练学会视觉设计，prompt 增强提升 7.81 分 — Qwen · 2026-10-27
- OPTIC 实现逐层嵌入千倍压缩，性能几乎无损 — Jiacheng Liu · 2026-10-27