SeKV:长上下文推理的自适应KV缓存
microsoft · hf · 2026-07-08
微软提出 SeKV,一种分辨率自适应的语义 KV 缓存方法,将上下文压缩为熵引导的 span,分层存储于 GPU-CPU 内存,在极低内存开销下实现高效长上下文处理并保留 token 级细节。
「Infra」频道最新
- 云容量危机已成 AI 架构问题，作者撰文剖析挑战 — DavidLinthicum · 2026-10-26
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26