亚马逊论文：匹配 KV-Cache 策略可防长文崩坏
rohanpaul_ai · x · 2026-08-31
亚马逊新论文指出，KV-cache 策略不仅是推理优化，更应改变模型训练方式。若推理时模型会遗忘上下文，训练时就应模拟这种遗忘。
- 问题：稀疏注意力允许长上下文推理使用固定大小 KV cache，但模型通常用全注意力微调，推理时记忆缺失会导致行为崩坏。
- 发现：在 128k token 测试中，全注意力训练的模型在稀疏推理下常产生长篇无意义回答，而用相同 cache 策略微调的模型则能正常回答并停止。
- 方法：论文提供了在任意 cache 策略下进行策略匹配训练的实用方法，包括在 40GB A100 上计算 4B 模型梯度的方案。
所属事件:亚马逊论文：训练需匹配推理时 KV 缓存策略(2 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16