Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理
TimDarcet · x · 2026-10-21
TimDarcet 透露 Muse Glimmer-30B 虽已能装进显存，但仍有内存带宽与吞吐压力，团队为此配备 DFlash 投机解码 drafter：5 层 draft、block size 16（每次预测 16 个 token）、全层 2048 滑窗注意力、32 query 头 / 8 KV 头（GQA）、128k 序列长度。
所属事件:Meta 工程师数月从零训出 30B 模型，量化加投机解码塞进 32GB 显卡(4 条相关)→
「模型」频道最新
- X 热榜三条 AI 速览：Holon-S1 预测癌片基因活性、decision models 走红 — iScienceLuvr · 2026-10-21
- OpenAI 多语言编程基准 MultiLangBench：PHP 拿下单项最高 91.3% — ricklamers · 2026-10-21
- 具身评测 704 票 Elo：Claude Opus 5.5 以 1379 分领跑机器人操作 — qinzytech · 2026-10-21
- DeepSeek V4 被评「神级 infra + 四流 ML」:一次发布堆 7 个技巧 20 个补丁 — teortaxesTex · 2026-10-21
- GPT-6 Astra 与 Claude Fable 5.1 写论文，专家评审仍全部拒稿 — sayashk · 2026-10-21
- GitHub Copilot 推出 HydraFusion：按任务动态编排多模型执行 — WirelessLife · 2026-10-21