ik_llama.cpp 分叉更新:6GB 显存 RTX 2060 上追平 Strata 推理速度
IceFog72 · reddit · 2026-10-25
开发者 IceFog72 发布 ikllama.cpp 分叉的更新,延续此前 MoE 专家驻留(expert residency)优化思路,但实现方式不同,最终在 6GB 显存的 RTX 2060 上跑出了与 Strata 相当的速度。
作者表示代码尚需大量清理和完善,且只在单卡 2060 上充分测试,反馈太少,暂不尝试合并回上游;细节和用法见其 GitHub 仓库,欢迎大家测试反馈。
「Infra」频道最新
- 新博客拆解 GPU 通信：从页表到 NVLink，逐一对应 SGLang 内部用法 — BanghuaZ · 2026-10-25
- .NET 推理引擎 TensorSharp 公开数据:A40 prefill 最高 5.5 倍于 llama.cpp — fuzhongkai · 2026-10-25
- 《纽约客》长文：芯片是人类造出的最宏伟造物 — SuB8u · 2026-10-25
- YC Paper Club 推理专题直播入口 — ycombinator · 2026-10-25
- YC Paper Club 推理专题:每个训练 FLOP 对应六倍年推理开销 — ycombinator · 2026-10-25
- 5090 本地跑 DeepSeek：10 tok/s，电费比 API 还贵 — DeMischi · 2026-10-25