新论文用李雅普诺夫理论解释 Anthropic J-lens 为何有效

CatAstro_Piyush · x · 2026-11-21

arXiv 新论文《A Mathematical Theory of the Jacobian Lens》(Ostrow、Qian、Liu、Fiete)为 Anthropic 提出的可解释性工具 J-lens 建立了数学理论。

网友 @wassname 的解读补充:J-lens 仅提取中层早期 token 到后层未来 token 的线性敏感度,并跨未来 token 和 batch 取平均;它受限于线性、无条件、聚合、忽略 attention,且只在 wikitext 上训练,却仍能泛化到聊天、代码、数学等领域——这本身说明问题结构中有可被线性方法捕捉的成分。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →