「投机解码+解耦部署」行不行?工程师:2023 年试过 70B 预填充+7B 解码,完全没用
suchenzang · x · 2026-09-03
一段推理系统工程师之间的技术争论:有人半开玩笑地反问「为什么不把投机解码(speculative decoding)和解耦部署(disaggregation)一起用?」
回复者 @bingxu 给出一手经验:2023 年就试过这类方案,用一个 70B 模型做 prefill、一个 7B 模型做 decode,结论是「完全没用」。这条讨论对关注 LLM 推理服务架构的人来说是有信息量的踩坑参考。
所属事件:异构预填充引热议：70B预填+7B解码早被试过(3 条相关)→
「Infra」频道最新
- 长上下文本地推理的真正瓶颈是 KV cache 而非参数量 — jonejy · 2026-09-03
- 开发者提醒：Cloudflare 新增功能疑似损害 SEO，建议关闭 — gaganghotra_ · 2026-09-03
- Hot Chips 名单未见 Amazon Trainium，投资人质疑其真实竞争力 — firstadopter · 2026-09-03
- Dragonfly 重写 Redis:分片多线程架构吃满现代服务器算力 — techNmak · 2026-09-03
- 蔡司高管：中国光刻工具落后约十五年 — broodsugar · 2026-09-03
- 光刻机神话？博主称蔡司镜片镀膜 expertise 仅约30年深 — teortaxesTex · 2026-09-03