Google 发布 DiffusionGemma：并行解码突破文本生成速度瓶颈
bodonoghue85 · x · 2026-08-04
Google 团队发布了长达 55 页的 DiffusionGemma 技术报告，探索了一种基于离散扩散的实验性语言模型。与传统自回归（AR）模型逐字生成不同，DiffusionGemma 能够并行迭代并细化 256 个 token 的文本块，从而打破顺序解码的速度瓶颈。
核心技术与训练方法
- 底座微调：该模型并非从零训练，而是通过微调混合专家模型 Gemma 4（总参数量 25.2B，激活参数 3.8B）获得。
- 高效训练：采用两阶段计算高效管线，总训练 token 消耗不到原版 AR 模型预算的 10%。第一阶段通过监督微调（SFT）学习双向去噪；第二阶段结合强化学习与采样器蒸馏来提升生成质量。
性能优势
报告指出，扩散模型不仅适用于单次生成的低吞吐场景（bs=1），它还能带来截然不同的吞吐量前沿表现，在生成速度上具备显著优势。
所属事件:DeepMind发布DiffusionGemma：扩散模型实现极速文本生成(5 条相关)→
「模型」频道最新
- MiniMax 视频模型被去审查微调，NSFW 版登陆 Hugging Face — bdsqlsz · 2026-08-04
- Anthropic 净好感度跌至 +3，用户抱怨 Claude 频繁脱轨 — SimplyAnnisa · 2026-08-04
- 揭秘Anthropic提示词工程法：三层架构与任务分解 — TansuYegen · 2026-08-04
- Anthropic 证实 Claude Sonnet 5 出现异常高错误率 — ClaudeAI-mod-bot · 2026-08-04
- DeepSeek V4 Flash 量化评测：IQ3_XXS 速度翻倍且无损质量 — Spicy_mch4ggis · 2026-08-04
- 调侃 LLM 安全护栏：网友提议开发脏话拦截器 — wavefnx · 2026-08-04