把文本扩散模型 DiffusionGemma 硬训成图像生成器，300M 参数出图
bumblebeer · reddit · 2026-11-13
一位独立开发者（自称团队人数为一、大量 LLM 辅助）把 Google 的文本扩散模型 DiffusionGemma（Gemma 4 骨干）改造成了「抽象表现主义」图像生成模型，总参数量不到 300M，并开源了完整的文生图与图像处理训练/推理管线。起因是 Unsloth 训练 DG 玩数独的 Colab 笔记本引发了作者的实验欲。
作者先吐槽 DG 本体：文本生成快 4 倍不假，但 agent 与推理任务上一败涂地——ARC-3/ARC-2 均为 0%，Gemma 4 开发者竞赛 0%，HLE 实测 9.2%，SWE-bench Verified 仅 18.7%，同硬件完全可以跑更好的模型。
关键做法：DG 很不情愿生成图像，最终稳定的技巧是把 prompt 一直预填充到「图像生成工具」输入串的开头——该工具在系统提示里被描述为外部工具，实际生成本身就是 DG 自己。过程中还需要修补 Transformers 的图像注意力上游 bug（PR #50684）。由于 DG 在原生视觉潜空间一次输出 256 token，它可以把正在生成的视觉表示作为下一轮前向输入（域内块自回归），这在图像处理任务上确实提升了质量与泛化。
「多模态」频道最新
- 开源复现 Vision Banana：FLUX.2 Klein 反超 Google 原版，还提出免训练新配方 — y_m_asano · 2026-11-13
- Envato 限时活动:11 月 19 日起 24 小时免费用 MiniMax H3 — EXM7777 · 2026-11-13
- Synthesia 推出交互式 AI 分身:录段视频 2 分钟生成会聊天的你 — synthesiaIO · 2026-11-13
- AI 生成「宝可梦贫民区」:忍者神龟背着火箭筒横穿复古街头 — ImportantBrief1900 · 2026-11-13
- AI 生成三国短片:孙策 26 岁身亡,一睁眼回到五年前 — KoreanIndieDev · 2026-11-13
- 开发者用 ElevenLabs 音效一键给任意视频加上 ASMR 声音 — austin_malerba · 2026-11-13