llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速
jacek2023 · reddit · 2026-10-16
llama.cpp 合并请求 #30296(trivalik 提交)优化了 CPU 上 AVX2 路径的分块累加器合并计算,带来可观的 tokens/s 提升。作者称这对没有 GPU 的用户是利好。具体提升幅度需看 PR 内的基准数据。
「Infra」频道最新
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16