粗到细标注加GRPO,9B在PhysCap超过Gemini

EgoCaptioner: Towards Comprehensive and Fine-Grained Egocentric Video Captioning

Yuqi Tang, Yang Shi, Yuran Wang, Tengfei Liu, Rundong Wang, Zongyang Qiu, Qixun Wang, Zhuoran Zhang, Xuanyu Zhu, Yifan Xu, Yiyan Ji, Shujie Li, Shixuan Liu, Haotian Wang, Yuanxing Zhang, Pengfei Wan, Chengwei Qin

cs.CV

2026-11-20

5万条粗到细标注加GRPO,9B的PhysCap得78.84,超Gemini 3.1 Pro。

这篇在解决什么

第一人称画面里身体大多在画外,转头就换场景。通用模型写得细,仍常漏掉短动作、写反顺序,或把头动当成在走路。专门模型又多写手物交互,导航、社交和张望很薄。密集成段没有起止时间,一步一句的时间戳又装不下状态变化。助手回忆和机器人挑片段,都要细节和时间绑在一起。

方法

EgoCaptioner 把一条视频写成两层。overview 写地点、光线、人和物的位置,以及穿戴者整段在做什么。steps 切成前后相接、互不重叠的事件,每个事件再拆成带起止时间的步骤,关键瞬间记成 At [t]。整段、只写 overview、只给事件名让模型自己找时间,三种指令共用这一格式。

写什么随事件类型换。手物操作写双手分工、物体如何变化、最后放在哪。位移写行进方式和相对地标的路线,用画面起伏区分走和骑。社交写谁在场、怎样轮流回应。注视写视线如何移动,以及目标被挡住又出现。

标注先定结构再写细节,免得同一次生成里又切段又写细。Gemini-3.1-Pro 写 overview,Seed2.1 pro 划边界、类型和提纲,Gemini 只看事件片段(两侧最多 1 秒)扩成步骤。超过 30 秒按 30 秒一段、重叠 0.5 秒合并。Seed2.1 pro 再对照全片改错。八个来源 5 万条,三种任务等量,最长 120 秒。有传感器时,MotionScript 把姿态收成带时段的动作和视角变化,当作与字幕独立的事实。

底座 Qwen3.5-9B,LoRA rank 32,微调 2 个 epoch,学习率 1e-4。然后在 8000 条上做 GRPO,每条采样 8 条描述,两阶段都用 16 张 GPU。事实奖励覆盖运动、任务焦点、场景与目的、关键瞬间,Gemini-3.1-Pro 打 0 到 1 分,取精确率与召回率的 F1。关键瞬间要时刻和内容同时正确。时间奖励用时间 IoU 贪心匹配步骤,除以两边步骤数的较大值,切太碎或太粗都会降分。文风奖励扣掉只描写手、不写对物体做了什么的步骤,以及复述已知背景的句子。整段和事件任务按事实 0.6、时间 0.2、文风 0.2 相加。overview 用事实 0.9 加格式 0.1,开头写场景,结尾写穿戴者在做什么。截断、复读或时长非正记为 -1,另有拉回 SFT 的 KL 项。

结果

五个第一人称基准。EgoMe 比参考文本,EgoHome 的 PSJ 比人工子任务时间线,PhysCapBench 的 Overall 平均七项物理细节。Minerva-Ego 和 EgoTempo 改成 caption-to-QA:Gemini 3.8 Flash 只凭描述答题并判分。抽帧 4 fps,最多 240 帧。

模型PhysCapPSJEgoTempoMinerva
EgoCaptioner78.8475.5138.4018.57
Qwen3.5-9B51.2446.9021.600.00
Gemini 3.1 Pro75.0652.8623.604.29
Gemini 3.8 Flash82.7771.0941.207.14
GPT-6-Astra84.8779.4252.6015.71

相对基座,PhysCapBench 高 27.6,EgoTempo 高 16.8 个百分点。开源五项第一,Qwen3.8-27B 的 PhysCapBench 只有 69.55。PhysCapBench 高于 Gemini 3.1 Pro,仍低于 Gemini 3.8 Flash 和 GPT-6-Astra。PSJ 高于 Gemini 3.8 Flash,低于 GPT-6-Astra。Minerva-Ego 高于表中全部闭源模型。总览 BLEU-4 为 4.03,METEOR 为 20.40,含闭源在内最高。步骤 METEOR 12.26,SODA-d 56.38。

CapRL-Video-4B 的 PhysCapBench 为 75.94,高出约 2.9 分。两边平均 548 词,物理机制与因果高 5.88,时间顺序高 4.57。

1 万条 SFT 把 PSJ 从 46.90 提到 67.79,5 万条为 71.63。METEOR 在 1 万和 2.5 万条时为 16.06 和 16.37,低于基座 17.58,5 万条才回到 19.91。GRPO 后 METEOR 20.40,SODA-d 56.38,PSJ 75.51。去掉事实奖励,三项都低于 5 万条 SFT。去掉时间奖励,PSJ 降到 66.81,METEOR 几乎不变。去掉文风奖励,SODA-d 和 PSJ 都更低。粗到细监督微调后 Minerva-Ego 已是 18.57,加上 GRPO 仍是 18.57。同期 PSJ 从 71.63 升到 75.51,SODA-d 从 53.25 升到 56.38。

同片同量下,一次生成对粗到细:EgoTempo 26.60 对 36.40,Minerva-Ego 7.14 对 18.57,PSJ 62.89 对 71.63。一次写完,边界更粗,步骤事实更少。

为什么重要

记忆检索和机器人预训练要的是步骤从几秒到几秒,以及手怎样把物体带进下一个状态。9B 加 LoRA 就在开源范围拉开,该复制的是四类事件写法、先结构后细节,还有不能互相替代的事实奖励和时间奖励。对最强闭源模型,这是渐进差距,PhysCapBench 上 Gemini 3.8 Flash 和 GPT-6-Astra 仍然更高。

局限与存疑

正文没有局限专节。标注和事实裁判用 Gemini-3.1-Pro,caption-to-QA 的阅读和判分用 Gemini 3.8 Flash。参考描述、奖励、评测读模型同出一族,分数会偏向这套文体。带人工时间线的外部锚点主要是 EgoHome。

姿态事实只在有传感器时进入训练,推理仍只看图像。头动和身体运动容易混,论文却没有有无姿态的分差。步骤分也对格式敏感,Tarsier2、AVoCaDO、EgoGPT 因为很少写出可解析时间戳,步骤分是 0。1 万条已经拿走大部分 PSJ,METEOR 还低于基座。时间对齐和文本重合不是一起涨的。训练最长 120 秒,更长的视频会被压进 240 帧。四类事件是写死的,没有人类偏好实验。

术语

原文与代码

相关论文

全部论文解读