长上下文成倍放大推测解码收益，接受率逼近100%

DjCanalex · reddit · 2026-08-06

Reddit开发者分享了使用推测解码的实测数据，指出在处理长上下文时，该技术能显著提升性能，成为真正的“战力倍增器”。

日志数据显示，随着上下文增长，草稿接受率不断攀升：在处理约13.9万至14万Token的任务时，接受率从80%一路提升至接近98%乃至100%。在单次任务中，生成长度（mean len）最高可达3.00，有效减少了模型生成延迟，大幅提高了每秒生成Token数（t/s）。