腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s
pmttyji · reddit · 2026-11-17
腾讯 DSpine(Draft in Parallel, Condition Through Depth)推测解码方案进入实用阶段:Qwen3.8-27B 的 DSpine b16 GGUF 已上架 Hugging Face(aj9o9、generalinference 两个仓库),模型卡含与 DFlash2 的对比。llama.cpp 官方 PR #31941 已开放。RTX 3090 24GB 实测:代码与数学任务约 125 tok/s(比无推测快 4.5 倍、比 DFlash2 快 2 倍),混合对话 90 tok/s(3.2 倍);15 drafted 时 24GB 最大上下文 64k(7 drafted 可到 98k)。深层上下文下仍保持优势:64k 时 35.5 tok/s vs 无推测 19.5。
「Infra」频道最新
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17
- OpenAI 代理记忆系统省钱三招:缓存 TTL、Flex 减半、少调用 — gabrielchua · 2026-11-17
- xAI 再扩孟菲斯算力版图:关联公司 550 万美元购入 96 英亩土地 — XFreeze · 2026-11-17
- 蚂蚁 Ling 团队详解 290B 模型低成本训练:修损失函数省大量算力 — aftahi_ai · 2026-11-17
- 汇丰以大幅折价甩卖 3 亿美元问题 AI 数据中心贷款 — MarcoFigueroa · 2026-11-17