CodeCap-Bench:用可执行代码做视频描述,推理与重建更准
Jiafu Tang · hf · 2026-10-28
南大、Kling AI 等机构提出 Code as Video Caption 范式与 CodeCap-Bench(323 个视频):用图形基元、布局规则与时间函数构成的可执行程序来表示视频内容,替代自然语言描述。
- 在下游问答与视频重建任务上对比:代码描述在推理准确率与重建保真度上优于自然语言描述,因为能更精确表达细粒度空间结构与时间动态
- 但当前多模态大模型仍难以对复杂时间动态生成忠实的代码描述,是该范式落地的瓶颈
对视频理解与描述评测是很有意思的新方向。
「多模态」频道最新
- 字节 Seedance 2.5 视频演示流出，称 AI 与纯电影差距终结 — CurieuxExplorer · 2026-10-28
- Genie 4 播放的跳棋机器人片段实为渲染,并非真实 Apollo 学习 — AIFlow_ML · 2026-10-28
- Genie 4 能想象机器人的一天，但机器人还无法在里面训练 — AIFlow_ML · 2026-10-28
- 百度 Unlimited OCR 2 实测：整文档单次解析无页数限制 — Baidu_Inc · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 阿里发布 0.8B 的 OvisOCR3：多教师蒸馏+RL 拿下多榜 SOTA — ATH-MaaS · 2026-10-28