DDRL 消融：跳过 SFT 直接从预训练做 RL 也能行
gowthami_s · x · 2026-10-15
线程第 4-5 节：论文消融了能否跳过 SFT(因为 DDRL 本身已含监督去噪损失)。他们去掉 2 万步的独立 SFT 阶段、直接从预训练跑 DDRL，用同一数据集，奖励和 diffusion loss 与「SFT→DDRL」流程相当——在这个设置下可行。但注意横轴是数据量，昂贵的 RL rollout 仍主导算力开销。作者自己的看法：别跳过 SFT，做 RL 仍然需要好的 rollout。
所属事件:DDRL：保留扩散损失治好视频 RL 微调的 reward hacking(5 条相关)→
「研究」频道最新
- 黑客松上用 Rowan 搭计算药物发现管线，证明橙皮素可平抑餐后血糖 — CatAstro_Piyush · 2026-10-23
- 基因组「暗物质」破解：语言模型加 AI agent 挖掘非编码 RNA — BrianHie · 2026-10-23
- ICLR 2027 审稿人抱怨：分配稿件大多是「难以卒读的 slop」 — JessicaHullman · 2026-10-23
- Anthropic 开放生命科学「客座研究员」计划：免费用模型，成果开源 — nc_frey · 2026-10-23
- 斯坦福博士答辩公开：生成模型守护自主系统安全，还上了真机试飞 — StanfordAILab · 2026-10-23
- Hugging Face 开源 ThinkingBox:用数据库评分做 RL 奖励训练 Agent — Hugging Face Blog · 2026-10-23