从抽象表示直接推导 KV-cache 位置,prefill 与推理形式可互通
vtabbott_ · x · 2026-10-03
作者 vtabbott 分享了一个关于抽象表示的技术观察:可以直接推导出 KV-cache 应该放在哪里以得到推理形式,即 prefill 与推理之间存在可表达的关系。帖子附带一张图,右上角的符号用于在两种模式间切换,展示了同一抽象表示如何同时覆盖训练/预填充与推理两种形态。这属于对 Transformer 推理优化中 KV-cache 机制的形式化理解,说明好的抽象层能让推理优化从「手工技巧」变成「可推导结论」。
「Infra」频道最新
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19
- 腾讯被曝最少买国产芯片,转用日本 neocloud 训模型 — teortaxesTex · 2026-11-19