UCLA 论文:扩散语言模型按任务调速,新颖输出更费算力
uclanlp · hf · 2026-10-24
UCLA 等机构的论文系统研究了扩散语言模型在不同任务与语言上的计算量分配。这类模型可在一次前向传播中写出多个 token,并在生成过程中决定花多少步去生成,因此同样长度的输出成本差异巨大。
主要发现:
- 每个 token 所需的前向传播次数高度依赖任务:从输入复制或轻改的文本很便宜,开放式写作则昂贵得多。
- 模型在生成新颖、罕见或(出错的)输出时会自动投入更多计算。
- 解码速度本身可作为信号:用于提升推理效率和判断输出可靠性。
论文覆盖两个扩散模型、10 类任务,为扩散语言模型的成本估算与自适应推理提供了实证基础。
「研究」频道最新
- 新论文：用 LLM 模拟器评估 AI 控制协议，无需真实部署环境 — jammastergirish · 2026-10-24
- FrontierCS 2 基准：让 Agent 在删掉贡献的论文代码上超越原方法 — berkeley_ai · 2026-10-24
- Nature 发布个人 AI 健康智能体研究，专家呼吁推进RCT验证 — adnan_hashmi · 2026-10-24
- Pathway 研究者：算力堆不动了，下一跃靠架构与持久记忆 — schwentker · 2026-10-24
- TokenGate 让 LLM 学会略读上下文，prefill 提速最高 11.3 倍 — berkeley_ai · 2026-10-24
- GTP:用生成式规划替代 RL,机器人操作任务在线学习更高效 — du_yilun · 2026-10-24