社区用数个晚上追平闭源方案:llama.cpp 上跑出 1.2k t/s Qwen 预填充
ilintar · reddit · 2026-09-13
Reddit 用户在 AMD Strix Halo 上将主线 llama.cpp 的 Qwen3.8 Flash Next 预填充速度从社区 fork 的约 400 t/s 提升到 1200 t/s,追平了闭源推理服务 Halogen 宣称的成绩:
- 作者为了不被闭源方案拉开差距,自行调试数晚,写出自定义 HIP runtime 和安装脚本,并附上 Opus 生成的完整优化复盘
- 文章还梳理了主线 llama.cpp、社区 fork 与自定义分支之间的生态关系
- 后续计划整理代码向主线和社区 fork 提交 PR;由于采用了类似的稀疏注意力,这些优化预计也能惠及 GLM 5.3 Flash 架构
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31