Anthropic Jacobian lens 从像素模型里挖出可写入运动方向
mathemagic1an · x · 2026-07-29
用 Anthropic 的 Jacobian lens，作者从一个只看像素、没见过控制器或动作的模型里，提取出了可写入的运动方向，并把它做成了一个能玩的键盘控制小游戏。
- 模型输入只有像素，没有动作标签。
- 通过追踪激活对后续帧的影响，作者把“球的运动方向”抽成了可复用的残差流向量。
- 把这个向量写回模型后，能直接改变球的速度与方向。
- 这被作者用来论证：模型里学到的不是单纯“可读”的特征，而是某种可干预的因果运动表征。
所属事件:研究从视频模型激活中提取出可控运动方向(2 条相关)→
「多模态」频道最新
- AI 短视频把“绑架”拍成了分身梗 — umesh_ai · 2026-07-29
- Claude游戏艺术能力飞跃：一年前后对比令人惊叹 — iamfakhrealam · 2026-07-29
- SDXL图像生成：如何构建复杂的多角色互动视角 — ZeHirMan · 2026-07-29
- Hailuo AI 新视频模型据称可接收 12 组图文音频参考 — aziz4ai · 2026-07-29
- PDD 通过一次预测多步去噪加速图像和视频生成 — ArashVahdat · 2026-07-29
- 一条 AI 周报塞进机器人 MMA、FLUX 3 和艺术之争 — PurzBeats · 2026-07-29