NVIDIA 收录 TriAttention，用三角函数压缩 KV 缓存
青稞AI · wechat · 2026-08-20
针对长推理中 KV Cache 占用显存过高的问题，NVIDIA 研究科学家提出 TriAttention 方法。该方法基于一个发现：pre-RoPE 空间中的 Q/K 向量高度集中于固定中心，几乎不随内容与位置变化。利用这一特性，该方法通过三角级数直接估算 Key 的重要性分数，进而对 KV Cache 进行剪枝。该方法已被 NVIDIA TensorRT-LLM 官方仓库收录，并被集成到实时长视频生成框架 LongLive 中，在局部注意力窗口内削减了 50% 的显存且无损质量。
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16