RidgeFill 免训练投机预填充:120K 长 prompt 首 token 提速 1.25-1.31 倍
Public_Umpire_1099 · reddit · 2026-11-11
RidgeFill 是一种免训练的投机预填充方法,通过不为 prompt 计算大部分上层来缩短首 token 等待时间:
- 原理:下层精确算到分割层;从分割层状态用「逐层 ridge 回归映射」预测后续每层输入,各晚层据此写入 KV cache。类似 YOCO / DeepSeek-V4.1-Flash 的训练内建投影,但 RidgeFill 把它事后改装到未经此训练的模型上——映射只需一次校准文本闭式拟合,不训练、不丢 token
- Qwen3.8-27B(单卡 A100,llama.cpp fork):16K-120K prompt 上 time-to-first-token 提速 1.25-1.31 倍,120K prompt 约省 28 秒;RULER 降 1.2-1.4 点,LongBench v2 降 1.4 点(95% 区间含零)
- Qwen3.8-Flash-Next(vLLM):9K-32K 上提速 1.50-1.60 倍,RULER needle 99.8 vs 100.0,perplexity 高 2.65%
- 测量方法学:作者指出全 token 平均 loss 会掩盖误差,需用填充区 needle 检索、依赖远距上下文的 token loss、拼接测试等定位误差来源(8-9B 模型上主要在 keys)
已发布 arXiv 论文、GitHub 数据/llama.cpp fork、HF 上的投影权重。
所属事件:RidgeFill 免训练投机预填充让长文本首 token 提速(2 条相关)→
「Infra」频道最新
- Chips and Cheese 深析 AMD Zen 6:分支误预测代价显著降低,整数调度回归 Zen 3/4 布局 — jedisct1 · 2026-11-11
- Together 研究负责人谈内核原理与 AI 优化自身推理的循环 — togethercompute · 2026-11-11
- PyTorch ExecuTorch 新增 WebGPU 后端:模型一次导出浏览器直跑 — PyTorch · 2026-11-11
- Hedra 让 AI Agent 跑训练实验，人类研究员只做引导 — testingcatalog · 2026-11-11
- TokenSpeed 在 32 张 GB300 上跑 Kimi K3,单卡 331 tokens/s — zhyncs42 · 2026-11-11
- Polymarket 押注:美国任何州今年通过数据中心禁建法概率 25% — Polymarket · 2026-11-11