llama.cpp 新增 QSA mask 融合算子,稀疏注意力模型再提速

jacek2023 · reddit · 2026-10-22

llama.cpp 合并了 PR #30640:为 QSA(sparse attention 相关的 mask 计算)新增 fused 算子,+592/-31 行改动。作者提醒使用稀疏注意力模型的用户更新 llama.cpp 即可获得又一轮推理加速。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →