Amazon AGI 发布 ALoDLM，扩散语言模型速度达 612 tok/s
arankomatsuzaki · x · 2026-10-06
Amazon AGI 团队发布论文 ALoDLM（Adaptively Looped Diffusion Language Models），并开源代码与 1.7B/8B 两个模型权重。
- 问题诊断：扩散语言模型（DLM）虽可并行预测多 token、生成快，但质量长期落后于同等规模的 AR 模型，根源是「计算-难度错配」——同一去噪步骤中，有的未知 token 一眼可定，有的却需要更多计算，而现有 DLM 对所有位置施加统一的计算深度。
- 方法：ALoDLM 用 token 自适应的隐空间循环取代均匀计算：每个去噪步骤在 latent 空间迭代精炼表征，按 token 难度分配算力；已可确定的 token 作为离散上下文反馈，未解决的 token 通过额外循环保留并继续精炼隐状态。
- 效果：在平均基准分上超过所有被评测的 DLM 与对应 AR 基线；演示中 ALoDLM-8B 经 vLLM 部署达 612.4 tok/s，对比 vLLM 服务的 Qwen3-8B 的 229.3 tok/s。
所属事件:亚马逊开源 ALoDLM，扩散语言模型提速至 612 tok/s(2 条相关)→
「研究」频道最新
- Contravariance 理论:任务足够难时,神经网络与大脑趋同进化不可避免 — aran_nayebi · 2026-10-06
- dioscuri 晒出说服自己的论文:11 个 LLM 心智理论测试超越儿童 — dioscuri · 2026-10-06
- Shazam 十几年前如何做到听歌识曲：频谱峰值+哈希表查找 — deedydas · 2026-10-06
- AI 形式化验证的残酷现实：停机问题挡住了「现有代码库」 — danbri · 2026-10-06
- GeoCR：一个模型统一各类去云任务，10个数据集预训练免微调推理 — KAIST-VIClab · 2026-10-06
- Pi²数据管线：维基百科表格变身长上下文推理训练数据 — tuvllms · 2026-10-06