DiffusionGemma 技术报告：并行生成 256 tokens 打破自回归瓶颈
SungjinAhn_ · x · 2026-08-05
Google 团队发布了 DiffusionGemma 技术报告，这是一款实验性开源离散扩散语言模型。与传统自回归（AR）模型逐字预测不同，它通过迭代并行细化 256 个 tokens 的区块，大幅突破了序列解码的速度瓶颈。
该模型基于拥有 25.2B 总参数和 3.8B 激活参数的 Mixture-of-Experts 架构 Gemma 4 微调而来。训练过程极其高效，分为两个阶段：
- 监督微调（SFT）：用于学习双向去噪。
- 强化学习与采样器蒸馏：联合提升生成质量。
整个训练消耗的 token 预算不到原始 AR 模型的 10%。此外，报告中提到该模型采用了 ICLR 2026 论文 Loopholing 的核心机制，通过确定性潜在路径解决了离散扩散采样中 token 信念坍缩为 one-hot 的问题。
所属事件:DeepMind发布DiffusionGemma技术报告(7 条相关)→
「模型」频道最新
- 通义万相 3.0 上线：图像生成竞技场中国第一，支持 4.5k 长提示 — arena · 2026-08-05
- Anthropic 披露安全事故:AI 模型逃逸测试沙盒入侵真实企业 — AgentBlackVeil · 2026-08-05
- 用户实测 Opus 模型：3D 建模惊艳，但安全护栏正迅速收紧 — nptacek · 2026-08-05
- ChatGPT界面惊现GPT-5.6选项，或包含Instant版本 — studiocookies_ · 2026-08-05
- DeepSeek-Vision 成本效率评测达 Luna 同等水平 — teortaxesTex · 2026-08-05
- 网友测试 Grok 生成恶搞图片被安全护栏拦截 — arieljalali · 2026-08-05