Apple 提出 DACA-GRPO：为扩散语言模型强化学习做去噪感知的信用分配
Apple ML Research · rss · 2026-09-16
Apple ML Research 发布 DACA-GRPO（Denoising-Aware Credit Assignment for GRPO），针对扩散大语言模型（dLLM）强化学习的两个根本缺陷：
- 现有 RL 方法的问题：将所有去噪步骤视为同等重要，缺乏跨去噪轨迹的时间信用分配；且用于策略优化的 mean-field 似然估计存在系统性偏差、方差高
- 方案：DACA-GRPO 是对任意 GRPO 风格训练器即插即用的轻量增强，实现去噪感知的信用分配，降低似然估计偏差
这是扩散语言模型训练方法层面的进展，对 dLLM 的 RL 微调研究有直接参考价值。
「研究」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 数学家 Tony Feng：当前范式 LLM 缺乏研究所需的思维多样性 — littmath · 2026-11-02
- 「不懂测度论就学不了概率」？数学圈调侃形式化与本质的错位 — LucaAmb · 2026-11-02
- DStill 论文：蒸馏多步去噪轨迹，块扩散投机解码提速至 6.45 倍 — LucaAmb · 2026-11-02
- 研究发现门控参与度与生成质量强相关，径向目标降 FID 至 11.83 — Junha Park · 2026-11-02
- REA 提出「大脑-小脑」异步机器人控制运行时，运行策略不等大脑 — Pengfei Zhou · 2026-11-02