上海 AI Lab 发布 GameRealm:1.2 亿帧游戏画面训练视觉基础模型
Shanghai-AI-Laboratory · hf · 2026-11-19
上海人工智能实验室联合上海交大、浙江大学发布 GameRealm 数据集及论文,用交互式游戏为视觉学习提供 grounding:
- 规模:超过 1.2 亿 RGB 帧、1000 小时全视角游戏录像;
- 标注:同步提供度量深度、相机参数、音频、控制输入、3D 点轨迹等多模态监督,视角覆盖单目、立体、多视角与全景;
- 采集:统一数据管线结合人类操作与 Agent 自主探索,可跨多样游戏环境扩展;
- 效果:在多项视觉学习任务上的实验表明,GameRealm 能持续增强视觉基础模型在视觉生成与几何学习上的表现。
作者团队包括 Weiguang Zhao、Yifan Wang、Junting Dong、Weinan Zhang、Chunhua Shen 等。
「研究」频道最新
- KradleBench 发布:LLM、世界模型与人类同台竞技的动态基准 — lmoroney · 2026-11-19
- KradleBench 发布:Minecraft 传奇玩家 SethBling 被 Astra 6.2 拉下榜首 — fchollet · 2026-11-19
- Transformer Lab 推出「研究者智能体社会」Primus,同步招人 — carsonfarmer · 2026-11-19
- LessWrong 新文剖析 LLM「刷分行为」:在意评分者,不在乎被训练什么 — 1a3orn · 2026-11-19
- Gracnia 开源 tabgen-eval:合成表格数据生成模型的评测框架与基准 — LucaAmb · 2026-11-19
- 三项新元分析推翻旧结论:智力对工作表现预测力仅约 0.2 — rasbt · 2026-11-19