Charles Frye 补充:新模型 KV 效率提升,压缩收益正在变次要
charles_irl · x · 2026-09-20
Charles Frye 在与 TheZachMueller 讨论 KV 压缩的后续推文中补充:近几个月发布的模型在 KV 效率上明显改善,因此 KV 压缩技术的收益在中短期内正变得不那么重要。此前他指出 KV 压缩失败罕见(如 OOD 场景)但在长上下文大量 decode 时代价高昂、难以被基准测试覆盖。
「Infra」频道最新
- 整站 arXiv 搬上 Hugging Face:314 万篇论文 16TB 全格式 — secemp9 · 2026-09-20
- SF Compute 对谈交易所传奇 Jaycobs:算力期货市场如何搭建 — andriy_mulyar · 2026-09-20
- LFM2.5-230M 手机端实测:CPU 跑出 192 tok/s 生成速度 — Tall_Abrocoma_3533 · 2026-09-20
- 作者 fork vLLM 打补丁，实测提升 Gemma 4 31B 推理速度 — metalvendetta · 2026-09-20
- 748GB 显存怪兽：有人想拿 NVIDIA GB300 桌面超算当游戏机 — mrjonfinger · 2026-09-20
- 两张不配对的 Tesla V100 组成本地推理平台，预填充达 1377 tok/s — OkBase5453 · 2026-09-20