扩散式 LLM 不适合分布式推理：一篇技术分析说清原因
bartlomiej__ · reddit · 2026-10-27
作者 b4rtaz 撰文分析扩散式 LLM（如 DiffusionGemma 这类基于双向注意力去噪器的模型）在分布式推理上的结构性劣势。
核心论点：
- 扩散式 LLM 的去噪器使用双向注意力，每步去噪都要在完整 canvas 上计算，无法像因果注意力那样用 KV-cache 切分到多台设备
- 自回归模型可以按层切分做 pipeline 并行、用 KV-cache 传递状态；扩散模型的「noisy canvas」是全局状态，跨设备同步开销远超收益
- 结论：扩散式 LLM 的并行优势在单机多核（token 级并行生成），但分布式场景下不如自回归架构
文章配 DiffusionGemma 的架构示意图，逐模块拆解了 encoder、denoiser 与 KV-cache 的关系。
「Infra」频道最新
- 4 块 RTX PRO 6000 跑 DeepSeek：16 并发解码 2120 tok/s — victormustar · 2026-10-28
- 算一道账:2027 年底地球上每人可分 120B 个 DS 级 token — bookwormengr · 2026-10-28
- Google TPU 首次登陆第三方云：OCI 成 Google 之外首个提供 TPU 的超大规模云 — rseroter · 2026-10-28
- Arm 高管访谈：智能体需要专用 CPU，服务器 CPU 市场 2030 年将达 2510 亿美元 — BenBajarin · 2026-10-28
- Jay Kreps：前沿 AI 竞赛自带自稳定机制，弱模型反而攒出大算力 — olcan · 2026-10-28
- LiquidAI 发布 2B 全模态开源模型，llama.cpp 当天适配 — ilintar · 2026-10-28