拆解 16x 迷思：四项改动逐一压缩扩散 LM 算力差距
volokuleshov · x · 2026-10-16
作者解释原 16x 数字来自「全序列 decoder-only 掩码模型 + ELBO 评分」的过时设定。团队改用精确似然（DUEL）替代 ELBO、max-confidence 采样器、实用块大小的 block diffusion、以及 encoder-decoder 架构（E2D2），每项都显著缩小与自回归模型的算力差距。
所属事件:康奈尔/亚马逊研究推翻扩散语言模型16倍算力差距迷思(5 条相关)→
「研究」频道最新
- Google Willow 芯片量子纠错降 40 倍，比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- inFERENCe《机器学习手册》：四种把难题变为可解问题的变换 — goyal__pramod · 2026-10-16
- Transluce 实践者反思：神经元自动解释一年后仍难解释复杂行为 — aryaman2020 · 2026-10-16
- Transformer 训练蝙蝠神经数据建成海马体"数字孪生",揭示未知群体活动结构 — patrickmineault · 2026-10-16
- RLM 发布一周年:递归语言模型让 GPT-5-mini 长上下文成绩翻倍且更省钱 — a1zhang · 2026-10-16
- MIT 博士 Sharut Gupta 入职 DeepMind,答辩 talk 被导师力荐 — phillip_isola · 2026-10-16