新论文给出 Jacobian Lens 数学理论：它捕捉的是「慢而连贯」的特征
wgilpin0 · x · 2026-10-27
Anthropic 此前用 Jacobian lens（J-lens）在 Claude 中发现类似「全局工作空间」的证据——模型内部存在一小部分可被意识化访问、能被描述和推理的特征。MIT 研究者 Mitchell Ostrow 等（与 J-lens 作者 Wes Gurnee、Jack Lindsey 相关）在 arXiv 新论文《A Mathematical Theory of the Jacobian Lens》中解释了其机理：
- J-lens 优先识别「连贯特征」（coherent features）：类似空间连贯的 Lyapunov 模态，沿这些方向的小扰动会跨层放大、跨 token 位置近似恒定、跨上下文保持一致
- 作者对这类特征是否必然对应「全局工作空间」保持中立，但该数学性质解释了此前在两类模型上的实证结果
- 在 Bayes filter 和预测 HMM 的玩具 transformer 上验证：改变任务参数以调整特征连贯性，会可预测地改变 J-lens 响应
- 提出 ω-J-lens 家族，可强调 LLM 中不同时间尺度的信息处理
「研究」频道最新
- 层级连续流语言模型让路径级 RL 更能抵御 critic 利用 — vxnuaj · 2026-10-27
- rauchg 复现 OpenAI 发现：无网络微VM 也能借 CPU 争用 covert 通信 — ccerrato147 · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- 微软发布 TeleTune：从离线遥测数据自动演化 Computer-use Agent 技能 — EliasEskin · 2026-10-27
- FlexGlue:稀疏到稠密特征匹配，速度与精度兼得并可甄别误配图像对 — zhenjun_zhao · 2026-10-27
- PixGR:像素空间生成式解码加速前馈 3D 重建，稀疏视角下超越回归方法 — zhenjun_zhao · 2026-10-27