KAIST 提出 Declarative Attention，让模型自选跳读 KV 缓存
kaist-ai · hf · 2026-09-03
KAIST AI 发布新方法 Declarative Attention：让语言模型在推理过程中自行声明相关上下文区域，从而跳过大部分 KV cache 读取，大幅减少实际需要关注的 token 数量，仅带来很小的准确率损失。这是让模型「控制自己的注意力」以降低推理成本的尝试。
所属事件:Declarative Attention：让语言模型自主声明读哪段 KV cache(5 条相关)→
「Infra」频道最新
- PyTorch 基金会生态贡献者一年增长 2.4 倍,涵盖 vLLM、Ray 等六大项目 — PyTorch · 2026-10-21
- TorchTPU 今日上线,Rob Mulla 发布视频讲解其工作原理 — Rob_Mulla · 2026-10-21
- DeepMind 高管驳 Gartner「算力过剩论」：我们算力严重不足 — appenz · 2026-10-21
- FastVideo 开源 FastH3 Omni：Blackwell 上实时生成快 12 倍 — multimodalart · 2026-10-21
- Anthropic IPO 草案曝光：上半年营收 163 亿美元，净亏 800 亿 — kimmonismus · 2026-10-21
- dphnAI 分布式推理网络日供 320 亿 DeepSeek tokens,约为 Venice 日量 6% — Ronangmi · 2026-10-21