AACL 2026 扩散语言模型教程:一次解码多 token 的非自回归路线全图
Bollegala · x · 2026-11-10
AACL-IJCNLP 2026 收官教程《Diffusion Language Models》由 Institute of Science Tokyo 的 Daisuke Oba 与 University of Liverpool/Amazon 的 Danushka Bollegala 主讲,面向无扩散背景的 NLP 研究者,幻灯片与阅读清单已开放下载。
- 核心内容:扩散语言模型(DLM)用迭代去噪取代从左到右解码,一次模型调用可决定多个 token,且每个预测能看到双向上下文;DLM 已达到 LLM 规模,出现开放权重模型和商用 API
- 技术脉络:定义文本扩散并与自回归/掩码语言建模建立联系;梳理大规模 DLM 的构建;围绕这一新生成范式重思推理、训练与后训练(含强化学习)
- 两大开放前沿:DLM 的可靠性、安全与社会偏见评测;从离散扩散走向连续 flow-based 语言模型
- 作者强调多语言、多模态、可解释性、多样性、安全评测等领域对 NLP 社区机会巨大,教程区分了已验证结果与开放问题
「研究」频道最新
- VIALS-AA 基准：Claude Fable 5.2 以 67% 居首，工具调用远超对手 — ArtificialAnlys · 2026-11-10
- 西弗吉尼亚大学学者分享十年脑白质束成像研究成果 — PTenigma · 2026-11-10
- 作者晒 pSTAT1 与 importin alpha 5 结合的冷冻电镜结构(11GJ) — chaitjo · 2026-11-10
- ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10
- RAGCap-Bench:细粒度评测 Agentic RAG 中间能力的新基准 — kalyan_kpl · 2026-11-10
- 网络并非尺度不变，为何众多方法却由此启发？ — Jianlin_S · 2026-11-10