llama.cpp 新 PR:Gemma 4 多槽位提示处理提速至 3 倍

jacek2023 · reddit · 2026-11-21

llama.cpp 合入中的 PR #32342(Meet91721 提交)针对 Gemma 4 E2B/E4B 的多序列查询优化了 prompt processing:在多个并行 slot 场景下,提示处理速度最高可提升至原来的 3 倍。对本地并行跑多路推理/批处理的部署者是直接的吞吐收益。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →