llama.cpp 新 PR 融合 FFN 矩阵乘，Llama 8B 提速近 10%
jacek2023 · reddit · 2026-10-25
llama.cpp 收到 PR #29948，在 CUDA 的 MMQ 路径中把 FFN 的 gate/up 矩阵乘与 GLU 融合，并采用 gate/up 行交错布局。实测数据：
- DGX Spark (GB10)：Llama-3.1-8B 提升最明显，各量化版本 +9.1% 到 +10.7%（IQ4XS 达 3249 tok/s）；Qwen 27B 系列约 +4.6% 到 +7.5%。
- RTX 5090：提升相对较小，Llama-3.1-8B 约 +4.0% 到 +4.7%，Qwen 27B 约 +1.9% 到 +4.4%。
整体上小模型与 GB10 这类端侧 SoC 获益最大。
「Infra」频道最新
- 奥斯陆团队用开源数据重建城市电网完整拓扑，破解公用事业保密地图 — anselm · 2026-10-25
- 「再给我一块 H100」：研究者跪求 GPU 梗图刷屏 — miniapeur · 2026-10-25
- SpaceX 拟再借 400 亿美元买英伟达芯片，太空数据中心遭市场质疑 — jonerp · 2026-10-25
- 马斯克预言部分数据中心将出现「搁浅算力」,Ed Zitron 质疑需求无限论 — mjdramstead · 2026-10-25
- Nvidia 开源 Flora：机器人视频标注成本降至 GPT-6 Astra 的 1/125 — The Decoder · 2026-10-25
- Wired：美国反数据中心运动可借鉴爱尔兰、新西兰经验 — Wired AI · 2026-10-25