RidgeFill 免训练投机预填充让长文本首 token 提速

独立研究者 Dylan Johnston 与 Robert P Smith 发布 RidgeFill,一种免训练的投机预填充方法。其原理是不为 prompt 计算模型的大部分上层:下层精确计算到分割层,再从分割层状态进行逐层预测,从而缩短 prefill 时间。在 120K 长 prompt 上,首 token 生成可提速 1.25 至 1.6 倍。

2026-11-11 ~ 2026-11-11 · 2 条相关

• RidgeFill 免训练投机预填充:120K 长 prompt 首 token 提速 1.25-1.31 倍 — Public_Umpire_1099 · 2026-11-11

另有 1 条近重复转述:TheCacheIsALie