实测 KV 缓存混合技术，预填提速 3 倍
maddie-lovelace · reddit · 2026-08-22
作者分享了在 LLM 推理中尝试 KV cache blending 的实测结果。该技术将长 prompt 切分片段独立生成缓存再拼接，原本预期会失败，但在 Ling3-tiny 模型（非 KDA 层）上测试发现，只要片段间保留重叠，模型仍能保持完美的“大海捞针”检索能力，甚至支持跨片段综合。实测显示该方法在 256k 上下文下将预填速度提升 3 倍，达到约 1.3k tps，性能接近 Qwen 38-27B 在 5090 上的表现。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16