Kling 团队 EgoCaptioner:5 万样本+GRPO 攻克第一视角视频细粒度描述
KlingTeam · hf · 2026-11-20
KlingAI Research 联合 HKUST(GZ)、北大、清华等机构发布 EgoCaptioner,针对现有 MLLM 在第一视角视频中漏掉短动作、搞错顺序、误解佩戴者运动的问题。
- 输出结构:视频级概览(场景、参与者、整体活动)+ 带时间戳的分步叙述,叙述粒度随感知需求变化并标记关键时刻
- 数据:由粗到细的标注流水线,先建事件结构再扩展步骤描述,从 8 个第一视角视频来源产出 5 万条训练样本;有传感器时补充姿态推导的运动事实提升事实监督可靠性
- 训练:用 GRPO,奖励函数同时评估事实准确性与覆盖率、步骤级时间对齐,并惩罚碎片化冗余叙述
- 结果:在五个第一视角基准上,描述质量、caption 条件问答与时间对齐均居开源模型前列;在 PhysCapBench 上超过 Gemini 3.1 Pro,在 Minerva-Ego 的 caption-to-QA 上超过所有受测闭源基线。消融验证了事实与时间奖励及粗到细标注的互补作用
「多模态」频道最新
- 用 Genie 4 做出「阈限乒乓球」演示,效果惊艳 — PurzBeats · 2026-11-20
- 开源 Guaardvark 3.6:一块 16GB 显卡离线全自动生成完整 MV — llama-of-death · 2026-11-20
- Genie 4 demo 合集续:等单通过后 30 秒生成可玩世界并实时迭代 — iamfakhrealam · 2026-11-20
- Genie 4 demo:古埃及《图坦卡蒙:拉之沙》可交互世界 — iamfakhrealam · 2026-11-20
- Genie 4 demo:20 秒霓虹迈阿密追逐,24fps 实时生成带立体声 — iamfakhrealam · 2026-11-20
- 阿里推出 TaoTex:扩散模型生成原生 3D 材质,细节超越 TRELLIS — jiqizhixin · 2026-11-20