DDRL 论文消融:可跳过 SFT 直接从预训练做 RL,数据效率大增
gowthami_s · x · 2026-10-15
gowthamis 继续解读 DDRL 论文的消融实验:
- 直接对 Cosmos2.5 预训练 checkpoint(2B/14B)做全量微调,93 帧 720p,1044 条测试 prompt
- 2B 文生图上,DDRL 的 VideoAlign 奖励低于 DanceGRPO(0.604 vs 0.715),但人类偏好领先 10.5 个百分点(约 9.6k 次对比)
- 消融显示可去掉单独的 20k 步 SFT 阶段,直接从预训练跑 DDRL,奖励与扩散损失与 SFT→DDRL 相当,数据效率显著更高(见 Figure 5)
- 注意局限:人类评测仅 15 名标注者、约一半是作者,样本代表性存疑;RL rollout 仍占计算大头
所属事件:DDRL：保留扩散损失治好视频 RL 微调的 reward hacking(5 条相关)→
「研究」频道最新
- 黑客松上用 Rowan 搭计算药物发现管线，证明橙皮素可平抑餐后血糖 — CatAstro_Piyush · 2026-10-23
- 基因组「暗物质」破解：语言模型加 AI agent 挖掘非编码 RNA — BrianHie · 2026-10-23
- ICLR 2027 审稿人抱怨：分配稿件大多是「难以卒读的 slop」 — JessicaHullman · 2026-10-23
- Anthropic 开放生命科学「客座研究员」计划：免费用模型，成果开源 — nc_frey · 2026-10-23
- 斯坦福博士答辩公开：生成模型守护自主系统安全，还上了真机试飞 — StanfordAILab · 2026-10-23
- Hugging Face 开源 ThinkingBox:用数据库评分做 RL 奖励训练 Agent — Hugging Face Blog · 2026-10-23