从业者：KV cache 压缩已让 1M 上下文可控,年内应见 2.5M 模型
khademinori · x · 2026-10-19
在关于上下文窗口长度的讨论中，AI 从业者 slbai 回应称，业界「卡在 1M 上下文太久」了：借助现代 KV cache 压缩技术，1M 上下文在数据中心规模下已完全可控——现在每个用户占用已低于 100GB。
他希望年底前至少能看到一个 Sonnet 级别的模型把上下文窗口做到 2.5M。
「Infra」频道最新
- DeepInfra 回忆录：B200 租金降到 $1.49/小时仍无人问津 — gharik · 2026-10-19
- SK 海力士谈 HBF:带宽约为 HBM 一半,容量高出 14 倍 — Beth_Kindig · 2026-10-19
- 马斯克发帖吐槽：租 AI 算力到底是一种什么体验 — elonmusk · 2026-10-19
- 系列博客开篇：图解 Tensor Core 的算术原理 — akbirthko · 2026-10-19
- 周报盘点：五家厂商在五个层级给 Agent 加控制，桌面 AI 最受关注 — shashib · 2026-10-19
- Hugging Face 开源 AI 周开幕：ExecuTorch 黑客松设三赛道 — Thom_Wolf · 2026-10-19