llama.cpp 合并 PR：利用 AVX2 加速大 Batch Prompt 处理

jacek2023 · reddit · 2026-09-01

llama.cpp 合并了一个由 bartowski1182 提交的 Pull Request，通过引入 AVX2 指令集优化，显著加速了在 CPU 上处理大批量的 Prompt 速度，特别是针对量化 (IQ) 模型。

原文链接 →

「Infra」频道最新

• Qwen3.8 Flash 在双 DGX 上跑出 415 tok/s — NVIDIAAI · 2026-09-01
• 曝 OpenAI 自研芯片 Jalapeno：LLM 推理速度达 1500 tokens/s — firstadopter · 2026-09-01
• TensorSharp 跑 Qwen 3.8 Flash Next 性能实测 — fuzhongkai · 2026-09-01
• 腾讯混元 AngelSlim：Hy4 模型压缩至 214GB 并支持异构协同 — 腾讯混元 · 2026-09-01
• 三星为英伟达改推8层HBM4E，速率要求提高20% — 创业邦 · 2026-09-01
• 为何 Llama.cpp 中增大上下文反而提升了推理速度？ — satnl · 2026-09-01

更多「Infra」频道 AI 资讯 →