借助「结构化决策」思路把 DiffusionGemma 推理提速 3-10 倍
bodonoghue85 · x · 2026-09-17
开发者 mmastrac 借鉴 Jev 的思路为 Google Gemma DiffusionGemma 实现了 3-10 倍推理加速，并已合入其 diffgemma 仓库（PR #21）。
核心做法：扩散模型本身就在操作概率分布——若把响应中的结构化 token 固定住，即可大幅减少前向计算量。具体实现是把一条 JSON 问题 schema 注入系统消息，使 /v1/chat/completions 请求变成一次「打分式去噪前向」：答案模板被种入 canvas，每个标签槽位作为噪声，直接从该槽位的 logits 读取标签分布。这样每个问题的成本固定为一次前向，且每个槽位能双向条件于整个模板，模式类似 TypeSafe 的 Jev API（choice/score/yes-no 问题附带概率与置信度）。作者认为该思路也可引入 vLLM。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02