新论文给 Anthropic J-lens 建数学理论：它为何专挑"类工作记忆"特征
burny_tech · x · 2026-10-27
这篇论文为 Anthropic 提出的可解释性工具 Jacobian lens（J-lens）建立了数学理论，解释它检测到的特征背后的机制属性。
- J-lens 此前在前沿 LLM 隐状态中发现了类似"工作记忆"的线性方向，但为何这些特征可被检测并不清楚
- 论文证明 J-lens 优先识别"相干特征"（coherent features）：类似领先的空间相干 Lyapunov 模的方向——沿这些方向的小扰动会跨层放大、跨 token 位置近似恒定、跨上下文一致
- 在 Bayes 滤波器和玩具 transformer（预测 HMM 生成 token）上验证：调制任务参数改变特征相干性，J-lens 响应随之可预测地变化
- 还提出一族强调不同时间尺度信息处理的 ω-J-lenses
所属事件:MIT 团队为 Anthropic J-lens 可解释性工具建立数学理论(3 条相关)→
「研究」频道最新
- Lean 软件验证大会 SVIL 11 月落地斯坦福,Tegmark 与 Lean 之父亲自开讲 — wellecks · 2026-10-27
- LLM2Cert 发布:LLM+Lean 自动合成安全证书,105 个系统通过 77% — wellecks · 2026-10-27
- FSPO：函数空间时间自蒸馏让 7B/8B 模型推理训练更快更省 — IITK · 2026-10-27
- KAIST DiscoDemo：用 RL 生成多样化机器人演示，真机成功率 39%→78% — DAVIAN-Robotics · 2026-10-27
- AI Evaluator Forum 发布 AEF-1：第三方模型评测的独立性最低标准 — RishiBommasani · 2026-10-27
- 「模型育种」实验开场：组合特定神经元能让 Qwen 自认是饼干怪 — yacineMTB · 2026-10-27