并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉
aaron_lou · x · 2026-10-30
arXiv 论文《Parallel Language Models via Variational Decoding》提出 PLM：通过隐辅助变量路由依赖关系，让模型在单次前向传播中生成相互一致的多个 token。训练目标为自回归损失加并行解码损失的变分界。要点：
- 80M 到 3B 规模上，PLM 预训练损失接近自回归基线，加速比随模型规模呈幂律增长
- 1.3B 模型经后训练后，在数学、代码、指令跟随基准上持平或超过同等训练的自回归模型，推理加速 2.3–5.7 倍
- 在速度-质量 Pareto 前沿上同时优于自回归与离散扩散基线
- 代码将开源
作者称这将改变 LLM 的训练方式：并行生成可以只用单一训练目标达到自回归质量。
「Infra」频道最新
- 本地推理是稀缺资源的糟糕分配?DRAM 争论引热议 — JHochderffer · 2026-10-30
- 实测 10 款编码 Agent 跑本地 Qwen 27B:Pi 每 task 仅 9.2k tokens 最省 — latent_lurker8587 · 2026-10-30
- Anthropic 德州数据中心 50-70 亿美元垃圾债发售被搁置 — rohanpaul_ai · 2026-10-30
- GPU 上做权重压缩？斯坦福研究者打脸自己的直觉 — realDanFu · 2026-10-30
- 缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍 — Arindam_1729 · 2026-10-30
- GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分 — bookwormengr · 2026-10-30