llama.cpp 慢 LoRA 有救了：新 kernel 把 300 t/s 拉回 1400
woct0rdho · reddit · 2026-10-21
woct0rdho 分享了对 llama.cpp 的 LoRA 性能优化，鼓励大家给 LLM 做和使用 LoRA：
- 以 Qwen3.8-Flash-Next 的 35MB 去审查 LoRA 为例：挂上 LoRA 后在 Strix Halo 上 PP 从约 1500 t/s 暴跌到 300 t/s，尽管 LoRA 极小且只触及少数模块
- 通用 LoRA kernel 优化后回升到 1000 t/s，fused LoRA kernel 进一步提升到 1400 t/s，几乎追平无 LoRA 的速度
- 代码已开源（github.com/woct0rdho/llama.cpp），目前针对 Strix Halo 优化，可移植到其他 GPU；作者计划后续上游到主线 llama.cpp，也欢迎他人提前复用
- 相关讨论见 llama.cpp issue #27093
另一个实用点：LoRA 可跨量化格式（Q80、IQ4NL、GSQ-RCO-Q20）复用去审查能力，无需重新下载完整模型，还能调 LoRA scale 在效果与能力损伤间权衡。
「Infra」频道最新
- DeepSeek 开源生产级推理框架 DeepInfer，支撑 V4.1-Flash 大规模服务 — tianyin_xu · 2026-10-21
- OmniGraph 开源：给 AI Agent 记忆装上 Git 式分支与合并 — techNmak · 2026-10-21
- 2x5090 本地跑 Qwen3.8 做 agent 编程，vLLM 成唯一不炸缓存的方案 — TooManyPascals · 2026-10-21
- teortaxesTex 质疑机器人消化 tokens 论：供应链撑不起 2027 叙事 — teortaxesTex · 2026-10-21
- 诺基亚贝尔实验室激光器线宽改善 50~60dB,作者用 Claude 做成交互图表 — jwt0625 · 2026-10-21
- 按 DeepSeek 推理定价,50GW 算力需 10 万亿美元年营收消化 — teortaxesTex · 2026-10-21