RidgeFill：免训练跳算上层预填充，TTFT 提速至 1.6 倍、64K 请求 82.6s→47.5s
Public_Umpire_1099 · reddit · 2026-11-03
Reddit 上发布的论文 RidgeFill：一种完全免训练的方法，通过不为 prompt 计算模型大部分上层来缩短 prefill。低层精确运行到切分点；从该层状态出发，用一次闭式拟合的岭回归预测其后各层的输入，各晚层以自身投影不变的方式从预测值写入缓存。选定的行、最后几千 token 和每个解码步仍走完整模型——不训练、不丢 token。
实测数据：
- Qwen3.8-Flash-Next（vLLM）：9K–32K prompt 下 TTFT 比精确计算快 1.50–1.60×；整条 64K 请求从 82.6s 降到 47.5s；RULER 大海捞针 99.8 vs 100.0
- Qwen3.8-27B（llama.cpp fork，单张 A100）：16K–120K 下快 1.25–1.31×；RULER 变动 -1.2/-1.4 分，LongBench v2 -1.4 分（95% 置信区间含零）
方法论脉络：想法源自 DeepSeek V4.1 架构——该模型整体训练时即内建 prefill 近似，误差被模型吸收；作者尝试移植到其他模型时发现上下文召回明显下降，于是转向定位与测量「填充区」的误差。他们否决了更强训练拟合组件的路线（会变得任务依赖、损害泛化），改为直接绕过 prefill 最敏感部分的投影，使社区可用本地推理级硬件在不同模型上自行复现。作者强烈建议按模型逐个调参，论文含详尽消融。
已提供 llama.cpp fork、HF 上的五个模型映射、tcclaviger 的 vLLM fork 及 Deadcode 的 Radiance 引擎（v1.3.0）实现。
「Infra」频道最新
- 租一年 H100 要 3.76 万美元，网友警告算力成本即将恶化 — teortaxesTex · 2026-11-03
- 开源训练全细节：SGLang 集成与 H200/B300 内核一并放出 — francoisfleuret · 2026-11-03
- Mistral Large 4 万亿参数模型跑进两台 M3 Ultra，20 tok/s — andrejusb · 2026-11-03
- 半导体财报夜：AEHR 盘后涨 16%，LSCC 盘后涨 9% — BenBajarin · 2026-11-03
- 斯坦福教授论证太空算力散热可行：黑球辐射平衡只需解决导热 — shaunmmaguire · 2026-11-03
- AI 债务交互地图：25 方 58 项义务，公众同时是赌徒、债主与房东 — W1RELESS · 2026-11-03