跨提供商推测性解码遇阻：长上下文致接受率断崖式下跌

hoyasgirl25 · reddit · 2026-08-13

开发者在使用本地草稿模型与第三方验证端点进行跨提供商推测性解码时遇到了瓶颈：在短上下文中表现正常，但当前缀超过约 32K 时，接受率从 0.71 骤降至 0.18。

尽管独立采样时的 token KL 散度保持稳定，且已排除分词器、采样参数和精度差异等常见问题，但作者发现这种分歧具有强烈的位置依赖性。目前推测第三方 API 可能应用了不同的 RoPE 缩放实现或隐藏的上下文预处理，正在寻求在不构建逐位置 logit 指纹工具的情况下调试此黑盒问题的方法。