llama.cpp 新增 QSA mask 融合算子,稀疏注意力模型再提速
jacek2023 · reddit · 2026-10-22
llama.cpp 合并了 PR #30640:为 QSA(sparse attention 相关的 mask 计算)新增 fused 算子,+592/-31 行改动。作者提醒使用稀疏注意力模型的用户更新 llama.cpp 即可获得又一轮推理加速。
「Infra」频道最新
- Intel CTO:芯片产能最多翻倍,追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因:双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle:Tinker 兼容自托管训练服务器,按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23
- 架构师提醒:把专有芯片当战略依赖,先算清迁移成本 — DavidLinthicum · 2026-10-23