港科大学者提出 SCoPE,让视频世界模型在射线空间工作
机器之心 · wechat · 2026-08-24
港大、港科大与腾讯 ARC Lab 提出 SCoPE(Sightline-Coordinate Positional Encoding),通过引入射线空间位置编码,让视频 DiT 不再依赖传统的 (u,v,t) 像素网格,而是基于相机射线判断几何关系。
核心机制:
- 射线坐标: 利用相机轨迹预先计算每个 token 的观察射线(Plücker 坐标),将其注入 attention 的 query 和 key。
- 几何与内容结合: 模型在比较 token 相似度时,同时计算射线是否相交,从而隐式建立 3D 点对应关系。
效果与优势:
- 交互式控制: 仅凭单张图片和 WASD 指令即可生成连贯的视频移动效果,无需 3D 重建。
- Revisit 一致性: 相机沿闭环返回时,画面能精准恢复到初始视角的一致状态(LPIPS Recovery 大幅提升)。
- 高效性: 新增参数不到原模型 0.1%,且模型规模越大,性能提升越明显。
「研究」频道最新
- 用 RL 训 Qwen 写 p5.js 代码,可编程的水彩画师 — zsakib_ · 2026-08-24
- 研究揭示 AI Agent 行为:六成阅读量来自指令与笔记 — dair_ai · 2026-08-24
- Claude 自主验证 43 个数学模块,AI 攻克理论物理难题 — Tkaraletsos · 2026-08-24
- AI 假记忆:为何模型越用越错,真记忆需遗忘 — PrajwalTomar_ · 2026-08-24
- Google 自动化科研系统发现 66 个生物标志物 — imjustnewatai · 2026-08-24
- 陶哲轩谈数学证明:为何 AI 需公开展示推理链 — r0ck3t23 · 2026-08-24