Salesforce 研究：随机淘汰推理 token 即可高效压缩 KV Cache
Salesforce · hf · 2026-09-04
Salesforce 发布「Random Attention」研究，挑战传统 KV Cache 压缩思路。核心发现：在保留 prompt 的前提下，对推理（reasoning）token 进行随机淘汰，效果可与精细的选择性 KV Cache 压缩方法相媲美。
- 关键洞察：推理链具有「自我保护」性质——重要信息在长推理轨迹中天然冗余重复，随机丢弃也不会造成不可恢复的信息损失
- 因此无需逐 token 计算重要性分数，可省去评分环节的开销，简化长推理场景下的缓存管理
- 对长 CoT 模型的推理服务栈优化有直接意义：更简单的淘汰策略即可换取近似的效果
所属事件:研究称 KV Cache 驱逐打分无用 随机淘汰即可提升吞吐(2 条相关)→
「Infra」频道最新
- 内存涨价逼出硬核玩家，Dr.Semiconductor 拍片教你在自家造 RAM — casper_hansen_ · 2026-10-21
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21