用煮奶茶解释 KV Cache：第 500 个 token 为何不重算前 499 个
cneuralnetwork · x · 2026-10-31
作者用煮印度奶茶的比喻讲清 KV Cache:没有缓存时,每来一个新订单都要从头煮奶加茶,连之前已做好的每杯也要重做;有缓存时,茶底一直温在炉上,新订单只需倒出来加糖。
对应到推理:生成第 500 个 token 不必重算前 499 个 token 的计算,代价是 KV 缓存随对话变长不断膨胀——这就是长对话吃显存的原因。
「研究」频道最新
- Claude 写的 Muon 优化器定理被实测：数值验证到小数点后四位 — vxnuaj · 2026-10-31
- 开发者求助：Claude 写出的 Muon 优化器数学理论深到没人能验证 — vxnuaj · 2026-10-31
- 去掉激活偏置这项零成本小改动,ViT/DiT/GPT 训练全面受益 — ZimingLiu11 · 2026-10-31
- Hessian 特征值图实锤:去激活偏置让损失景观全程更平坦 — ZimingLiu11 · 2026-10-31
- 常用激活函数暗藏 bug,均值非零致 loss spike — ZimingLiu11 · 2026-10-31
- 「生物学只是数据问题」被一个 lncRNA 打脸，ANRIL 复杂到建模崩溃 — iskander · 2026-10-31