清华提出 Latent Compaction:KV 缓存压缩 32 倍仍保 96.7% 检索精度
Yingfa Chen · hf · 2026-10-15
清华 NLP 组提出 Latent Compaction,通过测试时训练学习紧凑的文档级 KV 缓存:模型权重全程冻结,训练只用文档的通用提示,不需要访问下游问题与答案。
「Infra」频道最新
- Gumroad 两周砍掉 AWS 账单 $8.4k/月，单端点省 $14k/年 — DanielLockyer · 2026-10-15
- 彭博数据推算：Anthropic 约70-75%算力用于研发而非服务 — Jsevillamol · 2026-10-15
- 首届 PyTorch 马德里 meetup 聚焦开源推理栈：vLLM、llm-d 与 K8s GPU 编排 — SergioPaniego · 2026-10-15
- 奥地利航空航班首现 Starlink 机上 WiFi:实测下行 157 Mbps — mitsuhiko · 2026-10-15
- 银行开始转售刚承销的 AI 数据中心债务，风险正向市场转移 — jazir55 · 2026-10-15
- 论文+开源基准：LLM 故障转移保住对话上下文，连续率 99.2% — its_vayishu · 2026-10-15