新论文用李雅普诺夫理论解释 Anthropic J-lens 为何有效
CatAstro_Piyush · x · 2026-11-21
arXiv 新论文《A Mathematical Theory of the Jacobian Lens》(Ostrow、Qian、Liu、Fiete)为 Anthropic 提出的可解释性工具 J-lens 建立了数学理论。
- 核心结论:J-lens 倾向于识别「相干特征」——类似 Leading Lyapunov 模式的方向。沿这些方向的小扰动会跨层放大、在不同 token 位置大致保持恒定、并跨上下文保持一致。
- 作者在 Bayes filter 和玩具 transformer(HMM 生成序列)上验证:改变任务参数导致的特征相干性变化,可预测地改变 J-lens 的响应。
- 论文还提出一族强调不同时间尺度信息处理的变体 ω-J-lenses。
网友 @wassname 的解读补充:J-lens 仅提取中层早期 token 到后层未来 token 的线性敏感度,并跨未来 token 和 batch 取平均;它受限于线性、无条件、聚合、忽略 attention,且只在 wikitext 上训练,却仍能泛化到聊天、代码、数学等领域——这本身说明问题结构中有可被线性方法捕捉的成分。
「研究」频道最新
- Hassabis 预言两年内 AI 攻克千禧难题,半年后黎曼猜想已有候选解 — Hesamation · 2026-11-21
- 让 GPT-2「睡觉」:冻结快照回放让旧知识保持率从 6% 提到 58% — Junior_Reputation639 · 2026-11-21
- ERC 评审拒信曝光:评审员直言不信 LLM 自动形式化 — marc_lelarge · 2026-11-21
- 陶哲轩谈 AI 数学竞赛:摘走果实,留下一片荒地 — yacineMTB · 2026-11-21
- Anthropic 称 Claude 证明黎曼猜想,数小时后斯坦福发布全人类对照证明 — The Decoder · 2026-11-21
- Claude 被称攻克黎曼猜想,独立数学家称证明「几乎必然为真」 — Just-Grocery-2229 · 2026-11-21