dQwen3.5 论文:混合注意力扩散 LM 训练token省一半可并行解码
burny_tech · x · 2026-09-20
- 论文《dQwen3.5: Hybrid-Attention Diffusion Language Models》,作者包括 Anton Xue、Sujay Sanghavi 等。
- 核心做法:把混合注意力-RNN 语言模型改造成扩散模型,在达到同等训练损失时只需全注意力基线约一半的 token,同时支持强并行(非自回归)解码。
- 实用价值:复用现有开源混合注意力权重远比从零训练 DLM 便宜,对做低延迟推理系统和探索并行解码的研究者有参考意义。
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场：Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App：widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B：TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- Datalab 快速模式 OCR 准确率超 Opus 5.5，价格仅 1/4 到 1/68 — VikParuchuri · 2026-11-12