学者称 KV 压缩收益正变次要

在讨论 fp8e4m3 KV 缓存与 NVFP4 的取舍时，Charles Frye 表示 KV 压缩 "lowkey 可疑"：其失败案例（如分布外输入）出现频率低，但一旦发生在长上下文场景中代价高昂，且难以通过跑分暴露。他随后补充，近几个月发布的新模型在 KV 效率上明显改善，因此 KV 压缩的收益在中短期内正变得次要。

2026-09-20 ~ 2026-09-20 · 2 条相关