并行语言模型 PLM:一次前向生成多个一致 token,突破自回归延迟瓶颈
burkov · x · 2026-11-02
Andriy Burkov 分享一篇新文章,针对自回归语言模型「每次前向只出一个 token」的延迟瓶颈,提出 Parallel Language Models(PLMs):
- 核心思路:用辅助变量(auxiliary variables)协调多个并行 token 预测,使其相互一致,一次生成多个 token 而不牺牲质量与可训练性
- 训练方法:自回归组件负责把文本编码为辅助信号,并行组件从这些信号重建文本;直接在文本上训练,而非从现有模型蒸馏
- 实验规模:训练了 8000 万到 30 亿参数的模型,使用通用文本混合语料,与同等规模的自回归模型及公开的语言模型/扩散模型对比
「研究」频道最新
- 迄今最精细人类真核细胞 3D 重建模型问世 — CurieuxExplorer · 2026-11-02
- AB-Attention 免训练稀疏注意力,视频生成最高提速 2.23 倍 — bdsqlsz · 2026-11-02
- SemiAnalysis 推出法律领域 benchmark,考察能力与工具调用 — nirmal_dist · 2026-11-02
- 仅调 0.001% 权重让 Gemma 3 270M 排序正确率从 1% 升至 97% — dejanseo · 2026-11-02
- SemiAnalysis 发布 GDPx 基准：最强模型 Claude Opus 5.5 仅得 12% — zephyr_z9 · 2026-11-02
- UnEZ 论文：无监督训练、隐空间直接可解释的神经网络 — hahahahaha369 · 2026-11-02