DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23%
burny_tech · x · 2026-10-30
arXiv 新论文提出 DCOCO(DFlash Contextual Corrector),解决并行投机解码的核心缺陷。背景与要点：
- 问题：扩散式 drafter 可并行起草多个 token,避免自回归的串行成本，但块内 token 预测时看不到前文已选定的 token,丢失块内依赖，导致草稿不一致、接受率下降。
- 方法：DCOCO 不锁定每个位置的 top 预测，而是保留多个候选 token,并行评估相邻草稿位置间的上下文兼容性，以极低开销恢复块内依赖、选出更连贯的 token 组合。
- 结果：在 4 个验证模型、10 个基准上，所有配置(greedy/随机解码、有无长推理)平均吞吐量均为最高；相比原始解码最高加速 6.6 倍；并发服务下(4-32 并发请求)比最强竞品高 6-23%,而其他串行校正器在高负载下反而不如不校正的 DFlash。
结论是并行上下文评分即可低成本恢复块内依赖，在各类解码负载下都稳定有效。代码与模型已开源。
「Infra」频道最新
- AI 科学发现算力账单曝光：Navier-Stokes 花掉上千万美元 — kimmonismus · 2026-10-30
- Morgan Stanley：谷歌 2027 新增算力最多，估值却最便宜 — inductionheads · 2026-10-30
- 换 5600G 后 Vulkan 推理骤降 4 倍，ROCm 却不受影响 — Jebbyk1 · 2026-10-30
- Situational Awareness 三个月前杠杆押注几近翻车,现又为 Fluidstack 募资 — nmasc_ · 2026-10-30
- 16GB 显卡每美元带宽天梯图：RX 6800 性价比登顶 — HankYeomans · 2026-10-30
- 首个全本地浏览器 Omni 模型:LFM3-Omni-2B 达 280 tok/s — victormustar · 2026-10-30