PUMBA 论文:让掩码扩散语言模型训练感知推理采样轨迹
kastnerkyle · x · 2026-10-07
新论文 PUMBA 研究掩码扩散语言模型(MDM)的一个核心错配:这类模型的训练方式与推理采样方式不一致。作者提出让训练更感知推理时实际遵循的采样轨迹,从而提升文本生成效率,论文链接附于推文线程中。
「研究」频道最新
- Ai2 发布 Olmo-core MoE 高效训练技术报告，TLDR 干货密集 — StasBekman · 2026-10-07
- USC 招聘仿真评估方向博士后,2027 年春入职 — yoavartzi · 2026-10-07
- OAIC 大会展示 vf3 模糊测试器，速度超 Jackalope 与 libprotobuf-mutator — dyn___ · 2026-10-07
- Scott Alexander 公开信回应 Pinker:通用智能因子真实存在,AI 能力将持续攀升 — Astral Codex Ten · 2026-10-07
- 论文:扩散 Transformer 生成早期即可读出大量图像信息 — kwangmoo_yi · 2026-10-07
- 合成细胞为何五代即衰:答案是它无法分解自身「垃圾」 — NikoMcCarty · 2026-10-07