Video-Arena 基准:用竞技游戏考视频理解,原生模型 F1 仅 13.2
Kuan Zhang · hf · 2026-10-14
米哈游 AI 团队联合清华、中科院等推出 Video-Arena,一个可扩展的 agentic 视频理解基准,思路是把竞技游戏变成对「时空世界状态理解与追踪」的可验证测试。
- 任务分三类:感知关键事件、解读状态更新、追踪由此产生的世界状态
- 从游戏记录可大规模自动生成视频与对齐标注,精选 9 款游戏、180 个任务的金标集
- 两种协议评测:原生视觉理解最佳仅 F1 13.2,工具辅助的 agentic 分析可达 51.0
- 结论:原生模型难以可靠感知事件;工具辅助能改善事件还原,但在解读状态更新和跨时间一致性追踪上仍系统性失败
「研究」频道最新
- 模型训练数百万成本、数分钟被复制,指纹排行榜公开评测模型溯源 — omarsar0 · 2026-10-14
- 1931 年前语料训练的 13B 模型跑人格实验:前互联网 LLM 涌现错位仍存在 — dhadfieldmenell · 2026-10-14
- 港大与腾讯 IEG 开源 Multics:多人共享世界模型,4 人训练可推 10 人 — Scobleizer · 2026-10-14
- 让 Agent 学会预知失败：结局导向置信校准 AUROC 达 0.85 — SAP · 2026-10-14
- 港中文 Orchestra 框架让机器人按序完成长程多步操作 — CUOHK · 2026-10-14
- Jeva 论文:从第一性原理构建「系统一」模型 — lulzxdxdxd · 2026-10-14