PyTorchCon海报:FlexBudget固定内核统一预算,公平对比KV淘汰规则
PyTorch · x · 2026-10-14
PyTorch 官方预告 PyTorchCon North America 上一张由 AMD 的 Huanran Wang 带来的海报 FlexBudget: Interchangeable KV Importance Signals under One Compiled FlexAttention Budget:
- 问题:长上下文推理时 KV cache 过大需要淘汰部分内容,现有方法(保最近 token、保注意力最高的 token 等)各有规则,但每篇工作都把规则与自家内核绑死——无法区分方法更好还是代码更快。
- 做法:固定内核与显存预算,只替换重要性规则,在相同代码、相同额度下做诚实对比。
- 特点:training-free,完全基于核心 PyTorch(FlexAttention)。
会议于 10 月 20-21 日在圣何塞举行。
「Infra」频道最新
- CoreWeave 手里的多是旧 GPU，账面价值撑不起高估值 — ivan_bezdomny · 2026-10-14
- LlamaForge:为 llama.cpp 打造浏览器控制面板,本地 Agent 引用必须过代码核验 — Sleepybear2611 · 2026-10-14
- CoreWeave 藏的多是旧卡:GPU 保值超折旧表,资产结构存疑 — ivan_bezdomny · 2026-10-14
- 新文：下一个 AI 战场在你的笔记本电脑 — aldeamartinez · 2026-10-14
- Cooler Master 推 300kW 液冷 CDU，峰值 450kW 兼容 GB200/GB300 — BenBajarin · 2026-10-14
- MSAR 多头深度注意力架构：18B/28B 上全面超越 AttnRes 与 mHC — SonglinYang4 · 2026-10-14