llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17%
jacek2023 · reddit · 2026-10-28
llama.cpp 合并了 PR #31188:在 CUDA MMQ 路径中融合 MoE 的 gate/up 矩阵乘法与 GLU 激活,带来 prompt 处理速度提升。实测数据:DGX Spark (GB10) 上 Qwen3-30B-A3B Q4KM 从 2911.4 提至 3410.8 tok/s(+17.2%),Qwen3.6-35B-A3B 提升 9.1%9.9%;RTX 5090 上各模型提升 5.7%6.1%。本地跑 MoE 模型的用户更新 master 即可白拿加速。
「Infra」频道最新
- 康宁光通信 Q3 营收 24 亿美元，Gen AI 销售额同比翻倍 — demian_ai · 2026-10-28
- AI 形式验证工具揪出 Redis 23 字符冻结服务器的真实漏洞 — LingmingZhang · 2026-10-28
- 30 个开源编码 Agent 系统提示词实测：235 到 11974 tokens，相差 50 倍 — yb2698 · 2026-10-28
- 前华尔街 ABS 交易员：GPU 云经济模型神似航空业 — BenBajarin · 2026-10-28
- 小鹏 IRON 专用固态电池小批量投产：比液态锂电轻 30%、容量多 30% — CyberRobooo · 2026-10-28
- 把 fp32 全部位模式塞进张量，可视化一元运算的等价形式 — HanGuo97 · 2026-10-28