一图讲清多 token 预测两种路线：Gemma 4 独立 drafter vs GLM-4.5 单层 MTP
mervenoyann · x · 2026-10-17
mervenoyann 用一张图解释 speculative decoding 中「multi-token prediction」一词对应的两套截然不同的技术:1) Gemma 4 采用独立 4 层 drafter,复用目标模型的 KV cache,每步重复同一紧凑 drafter,回传 token + 投影后的 hidden state;2) GLM-4.5/Qwen3.8 路线则在目标模型上加一个 MoE MTP 层(width d=5120),自己计算 Q/K/V 并维护独立 KV cache,复用目标模型 hidden state 但不用其 K/V 张量,同一层重复使用 K 次。
「研究」频道最新
- Snorkel AI:4B 小模型加强化学习,500美元内超越 235B 金融分析 — ajratner · 2026-10-18
- tangermeme 合并 DeepLIFT/SHAP 扩展,归因分析首次支持任意模型 — jmschreiber91 · 2026-10-18
- 腾讯 Terminal-RSI 论文:终端智能体五阶段自进化,Terminal-Bench 均值 20.7% 升至 50.6% — omarsar0 · 2026-10-18
- Shanahan 困惑 LLM 灵异现象为何无人研究,附论文《与 LLM 的存在主义对话》 — mpshanahan · 2026-10-17
- 10 分钟超声刺激增强小鼠脑部清理，7 天减少淀粉样蛋白 — rand_longevity · 2026-10-17
- MIT 模型 IRIS 破译细胞信号语言，预测结果经小鼠胚胎实验证实 — alex_verem · 2026-10-17