亚马逊论文：匹配 KV-Cache 策略可防长文崩坏
rohanpaul_ai · x · 2026-08-31
亚马逊新论文指出，KV-cache 策略不仅是推理优化，更应改变模型训练方式。若推理时模型会遗忘上下文，训练时就应模拟这种遗忘。
- 问题：稀疏注意力允许长上下文推理使用固定大小 KV cache，但模型通常用全注意力微调，推理时记忆缺失会导致行为崩坏。
- 发现：在 128k token 测试中，全注意力训练的模型在稀疏推理下常产生长篇无意义回答，而用相同 cache 策略微调的模型则能正常回答并停止。
- 方法：论文提供了在任意 cache 策略下进行策略匹配训练的实用方法，包括在 40GB A100 上计算 4B 模型梯度的方案。
所属事件:亚马逊论文：训练需匹配推理时 KV 缓存策略(2 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16