llama.cpp 新 PR 提速 GDN 分块核：4090 上 35B 模型快 11%
jacek2023 · reddit · 2026-10-14
ggml-org/llama.cpp 收到新 PR #29353（作者 am17an），为 CUDA 和 HIP 实现 GDN 分块核，带来可观解码提速。
关键数据（PR vs master，prompt 4096 tokens）：
- RTX PRO 6000 Blackwell 跑 Qwen3.5-35B-A3B-Q80：14,090 → 16,595 tok/s，+17.8%
- RTX 5090 同模型 Q4KS：12,978 → 15,298 tok/s，+17.9%
- RTX 4090：+11.1%；RTX 3090：+3.2%
- 较小的 27B 稠密模型提升较小，普遍在 2%6%；NVIDIA Spark GB10 提升约 3%5%
规律明显：MoE 大模型 + 新显卡受益最大，老卡和稠密模型提升有限。
「Infra」频道最新
- 本轮 AI 周期两大根本驱动:洁净室与数据中心面积双扩张 — BenBajarin · 2026-10-14
- OpenAI 任命前 xAI 高管 Ruddarraju 掌管算力基建部门 — dinabass · 2026-10-14
- llama-server 夜间频频崩溃：元凶是系统内存而非模型 — Stunning-Sherbet1853 · 2026-10-14
- Modal 高管：我们不止是推理服务商，而是为 AI 重造了 infra 栈 — charles_irl · 2026-10-14
- GB300 登顶 agentic 推理基准，家用插座即可带动 DGX Station — TheZachMueller · 2026-10-14
- 27B 本地模型遇压缩死循环：代码索引或成上下文解法 — OuterKey · 2026-10-14