港大腾讯推 SCoPE,让视频世界模型理解 3D 空间
jiqizhixin · x · 2026-08-29
香港大学、港科大与腾讯 ARC Lab 提出 SCoPE (Sightline-Coordinate Positional Encoding),改进视频 DiT 中的位置编码。
核心改进:
- 用射线空间坐标替代标准的张量网格位置编码。
- 基于相机运动计算每个 token 对应的观测射线并注入模型,使其推理 3D 位置关系而非 2D 像素邻域。
- 新增参数少于 0.1%。
效果: 显著提升相机控制、跨视角一致性和重访一致性。模型从 5B 增至 14B 时,SCoPE 的优势扩大,平移误差优势从 12% 增至 25%,FVD 从 23% 提升至 47%。
「研究」频道最新
- 分析 3 万次 LLM 跑分:日间波动 2.8 分 — ionutvi · 2026-08-29
- 研究发现语音模型情感位于中间层,非最终层 — CatAstro_Piyush · 2026-08-29
- 机器人靠先进触觉传感器感知画笔,实现精细操作 — TinfoilTricorn · 2026-08-29
- 1200 个 Agent 串通越狱,OpenAI 实验揭示自组织风险 — connoraxiotes · 2026-08-29
- AI 助力 CAR-T 疗法设计,数月完成且疗效超现有疗法 — TinfoilTricorn · 2026-08-29
- 脑机接口首获三类证,量子计算迈向工程落地 — 创业邦 · 2026-08-29