llama.cpp 连发三个 Metal MoE 优化 PR，M5 上解码提速 12%
predatar · reddit · 2026-09-03
一位 M5 MacBook Pro 用户为避免本机跑大模型过热，向 llama.cpp 提交了 3 个 Metal 后端优化 PR，并在 Reddit 征集更多机型（尤其 Qwen3.8-Flash-Next）的测试者：
- PR #28301：通用 MoE prefill 优化，跳过未填满 expert tile 中的空工作；附带针对 IQ2/IQ3 量化的反量化优化，对 M5 上的 IQ3XXS 尤其有用
- PR #28302：修复混合/循环模型的 checkpoint 淘汰逻辑，编辑、分支或重开会话时可从最近的 KV/循环状态恢复，避免重新 prefill 大段 prompt
- PR #28086：IQ3XXS Metal 解码优化，在 Tiel-Coder-35B-A3B 负载上解码从 65.6 提到 73.9 tok/s
作者建议用 llama-bench -m model.gguf -p 4096 -n 64 -ub 512 对比 master 与 PR 分支的成绩。
「Infra」频道最新
- 企业 token 支出增速从 42% 骤降至 0.2%,超大规模厂商 ROIC 跌至 20% — SumitGup · 2026-10-21
- 高通全球裁员转战 AI 数据中心：目标 2027 年 50 亿美元营收 — rohanpaul_ai · 2026-10-21
- vLLM 登台 PyTorchCon 2026：跨 TPU、AMD、NVIDIA 优化 KV cache 与内核 — PyTorch · 2026-10-21
- antirez 尝试用 DeepSeek Infer 为 DGX Spark 优化 DwarfStar 内核 — antirez · 2026-10-21
- 三进制 2-bit 端侧模型 Ternary-Bonsai-2-9B 上架 HF,支持视觉输入 — prism-ml · 2026-10-21
- GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21