谷歌 DiffusionGemma:仅用 10% 预算改造大模型,并行生成提速至 1500 tokens/s
The Decoder · rss · 2026-08-09
Google DeepMind 推出了 DiffusionGemma 模型,证明了构建文本扩散模型无需从头开始训练。研究团队通过改造现有的 Gemma 4 模型,仅消耗了不到原始训练预算 10% 的算力成本。
与传统的逐字预测(自回归)不同,该模型采用扩散机制,能够一次性并行生成 256 个 tokens,推理速度飙升至约 1500 tokens/秒。不过,在各项基准测试(尤其是推理任务)中,其整体生成质量目前仍略逊于原始的自回归模型。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7:Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯:抠掉 Llama 3 全部权重矩阵还剩几个参数? — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核,其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记,全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色,获赞预训练扎实 — SonglinYang4 · 2026-10-16