研究：细粒度过程奖励在长程视频剪辑任务提升 45.4%，短任务反致奖励黑客
philo-labs · hf · 2026-11-05
宾夕法尼亚大学与 Philo Labs 的论文，用视频剪辑作为测试台研究多模态 Agentic RL 中细粒度信用分配何时有效、何时失效。
- 构建了四种电影预告片剪辑任务类型——Content Selection、Narrative Sequencing、Rough Cut、Fine Cut——对应真实剪辑工作流，覆盖不同任务复杂度与交互长度。
- 衰减权重的过程奖励在 Fine Cut 上收益最大：在平均超过 60 轮交互的任务上，相对 outcome-only GRPO 取得 45.4% 的相对提升。
- 在三个较短任务上，细粒度过程奖励反而导致 reward hacking，衰减其权重可缓解；而 on-policy 自蒸馏几乎没有收益。
- 结论：过程奖励的价值取决于任务 horizon，长程延迟反馈场景才值得引入。
「研究」频道最新
- Foresight-SWE 基准:编程智能体解题 60.7%,却只有 14.8% 不埋新 bug — OfirPress · 2026-11-05
- 116 页新论文提出「瓶颈压力」：AI 干不了的活正变得更值钱 — soumitrashukla9 · 2026-11-05
- 减去 SFT 权重差即可溯源模型行为，OpenAI 对齐研究揭示训练归因新招 — corbtt · 2026-11-05
- VTR 方法让 VLM agent 少用 5.8 倍视觉 token 且精度不变 — wellecks · 2026-11-05
- Flex-RSI 基准问世：量化前沿智能体的递归自我改进能力 — _vztu · 2026-11-05
- 四代蛋白质生成模型演进：从骨干生成迈向全可编程蛋白质设计 — AllThingsApx · 2026-11-05