浙大团队提出 DTCA:为扩散语言模型 RL 训练做 token 级信用分配
OmniAI-ZJU · hf · 2026-10-29
浙大 OmniAI 团队联合新加坡国立大学与 SAP 发布论文 DTCA(Denoising Token Credit Assignment),解决扩散语言模型(DLM)强化学习中的信用分配难题。
- 问题:DLM 通过迭代去噪生成文本,支持双向上下文建模与并行 token 细化;但将其用于 RL 训练时,迭代去噪过程使信用分配变得困难——只有最终结果的奖励,无法判断各 token 对输出的贡献。
- 方法:DTCA 通过测量某个 token 确定后、其余被遮蔽位置预测置信度的提升来估计各 token 的贡献,并按词性(POS)类别对这些信号分组,据此选择信息量大的去噪时间步并分配 token 级学习信号。
- 效果:在数学推理任务上提升了 RL 训练效果。
「研究」频道最新
- Zero-HLM：零真机数据训练人形机器人全身移动操作，成功率 23%→69% — siyuanhuang95 · 2026-10-29
- Matt Clancy 设想用 AI 复查人类所有已发表研究，成本或达 10 亿美元 — sebkrier · 2026-10-29
- 热传导方程与高斯模糊同源：傅里叶 19 世纪数学撑起计算机视觉 — techNmak · 2026-10-29
- Anthropic 进军药物研发：与六家药企合作并用 Claude 自研发现管线 — elonmusk · 2026-10-29
- 你会信任一个没人完全看懂的数学证明吗？ — rand_longevity · 2026-10-29
- 用「卢卡斯批判」质疑智能体建模:不建环境反馈回路就白搭 — soumitrashukla9 · 2026-10-29