连续扩散语言模型新突破:DoubleCat/SemiCat 摆脱 self-conditioning
tarantulae · x · 2026-10-19
扩散语言模型(CDLM)研究进展被转发讨论。新工作系统性探索了 CDLM 的设计空间,指出此前依赖的 self-conditioning 更像一种「拐杖」而非原理性方法,提出 DoubleCat/SemiCat 作为更有原则的替代方案。
关键结果:在 TinyGSM 任务上,不用 self-conditioning 即可将 one-hot flow 从 4% 提升到 50%,显著改善了连续扩散语言模型这一新范式的训练配方与稳定性。
「模型」频道最新
- DeepSeek V4.1 变聪明了但爱弃稿，Opus 接手救援险些崩溃 — teortaxesTex · 2026-10-19
- 同任务建房间：DeepSeek 花 $0.21，Opus 5.5 花 $2.20 — teortaxesTex · 2026-10-19
- Gemini 4 Argon 实战亮点:助 Chrome 团队清理 600 万行 Chromium 代码 — ITower__Education · 2026-10-19
- 网友用 wllama 在 Rabbit R1 上跑通 Qwen3.5-0.8B 4-bit 量化 — ngxson · 2026-10-19
- 微软 MAI 曝 3T 参数自研基座:原生免编码器 VLM 占训练混合 18% — burny_tech · 2026-10-19
- 两年过去,通用 LLM 路线未见撞墙,押注已经回本 — adivinemessenger · 2026-10-19