llama.cpp 新 PR:Gemma 4 多槽位提示处理提速至 3 倍
jacek2023 · reddit · 2026-11-21
llama.cpp 合入中的 PR #32342(Meet91721 提交)针对 Gemma 4 E2B/E4B 的多序列查询优化了 prompt processing:在多个并行 slot 场景下,提示处理速度最高可提升至原来的 3 倍。对本地并行跑多路推理/批处理的部署者是直接的吞吐收益。
「Infra」频道最新
- SEC 对 Nvidia 会计实务启动调查 — Polymarket · 2026-11-21
- 英伟达跌至 131 美元,或迎 2008 年以来最长周线七连跌 — Polymarket · 2026-11-21
- 8GB显存跑Qwen 27B:2.1bpw量化达92.5% Top-1匹配 — Brief-Tap-6616 · 2026-11-21
- Anthropic 上市首日 $83/股:$130B 现金、$431B 算力承诺、$77B GPU 应付款 — LexSokolin · 2026-11-21
- 开源推理引擎批量变公司:vLLM、SGLang 系创业公司商业化路线对比 — AccBalanced · 2026-11-21
- SpaceX 算力融资扩至 440 亿美元,创史上最大 GPU 融资纪录 — XFreeze · 2026-11-21