RidgeFill 免训练预测深层缓存,长文本 prefill 提速 1.25-1.6 倍
TheCacheIsALie · hf · 2026-11-11
独立研究者 Dylan Johnston 与 Robert P Smith 发布 RidgeFill:通过不为 prompt 计算模型大部分上层来缩短 prefill。设计思路:
- 方法:下层精确运行到分割层,从该层状态用逐层映射预测后续每层输入,各深层据此写入缓存。类似 YOCO 与 DeepSeek-V4.1-Flash 的训练内建方案,但 RidgeFill 可改造未为此训练的模型——映射是一次性闭式解拟合的岭回归,无需训练、不丢弃 token,末尾几千 token 与所有解码步骤仍走完整模型。
- 评测方法学:全 token 平均 loss 会掩盖误差,作者用 needle 检索、远程依赖 token loss、splice 测试定位误差来源(Llama-3.1-8B 上主要在 keys,Qwen3.5-9B 上在 values 与循环状态)。
- 结果:Qwen3.8-27B 在 llama.cpp fork + A100 上,16K-120K token 时 TTFT 提速 1.25-1.31 倍,RULER 变化 -1.2-1.4 分;Qwen3.8-Flash-Next 在 vLLM 上 9K-32K 提速 1.50-1.60 倍,needle 任务 99.8 vs 100.0。拟合映射的检索效果接近官方 SwiftKV checkpoint。
所属事件:RidgeFill 免训练投机预填充让长文本首 token 提速(2 条相关)→
「Infra」频道最新
- 把日光温室改成家用机房:「暖房里能种什么」梗图走红 — gethackteam · 2026-11-11
- FCC 受理 SpaceX 购买全美 800 MHz 频段申请,直手机星链更进一步 — ns123abc · 2026-11-11
- Substack 与 CoreWeave 签算力协议，写作者平台也要买 GPU — realsohamparekh · 2026-11-11
- Mac mini 热销主因之一:本地跑开源 AI 模型,数据不出家门 — HarperSCarroll · 2026-11-11
- OpenRouter 正式被 Stripe 收购，超 1000 万开发者在用 — deedydas · 2026-11-11
- Anthropic S-1 披露：Lambda 错过期限，349 亿美元 GPU 合同可取消 — rohanpaul_ai · 2026-11-11