Anthropic Jacobian lens 从像素模型里挖出可写入运动方向
mathemagic1an · x · 2026-07-29
用 Anthropic 的 Jacobian lens，作者从一个只看像素、没见过控制器或动作的模型里，提取出了可写入的运动方向，并把它做成了一个能玩的键盘控制小游戏。
- 模型输入只有像素，没有动作标签。
- 通过追踪激活对后续帧的影响，作者把“球的运动方向”抽成了可复用的残差流向量。
- 把这个向量写回模型后，能直接改变球的速度与方向。
- 这被作者用来论证：模型里学到的不是单纯“可读”的特征，而是某种可干预的因果运动表征。
所属事件:4M参数像素Transformer涌现物理世界模型(10 条相关)→
「多模态」频道最新
- MiniMax 玩具恐怖短剧爆红:每次眨眼它就更近一步 — fa6637 · 2026-10-16
- AI 短剧《The Dining Car》第 4 集:世界末日,晚餐照常供应 — Acceptable-Day5621 · 2026-10-16
- Midjourney 实测:叠加 moodboard 档案调出暗夜电影感光影 — LudovicCreator · 2026-10-16
- Multigen 发布:给 GPT-Image 套上一致性图集生成前端 — Markasp · 2026-10-16
- 一句话生成 18 秒故障风产品发布片：动态大字+真实截图+踩点快切 — yihui_indie · 2026-10-16
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16