视频模型的运动方向在激活空间中形成环形结构
mathemagic1an · x · 2026-07-29
这是前一条视频世界模型可解释性研究的补充结果，重点展示 运动方向在激活空间里形成环形流形。
- 将第 5 层激活按运动方向求平均，再做 PCA 后，会出现明显的 圆环结构。
- 物理世界里相邻的方向，在模型内部表示中也保持邻近关系。
- 一个重要细节是：模型从未见过控制器或动作标签，输入只有像素，但仍然涌现出可操控的运动表征。
所属事件:4M参数像素Transformer涌现物理世界模型(10 条相关)→
「研究」频道最新
- 8000 余名女性真实世界数据：数字化 GLP-1 减重疗法平均减重 16.1 公斤 — EricTopol · 2026-10-16
- 冻结模型写入外部记忆:Qwen 与 Mistral 上的隐藏态注入实验复现 — Nearby_Indication474 · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16
- 新论文称约90%神经元功能清晰,可解释性临近突破引激辩 — The Decoder · 2026-10-16
- MagicBeanStalk 论文：递归合成难题数据，gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16