96GB Strix Halo 跑 Qwen Flash Next 262k 上下文,求提速方案
Forward_Jackfruit813 · reddit · 2026-09-05
作者在 96GB Strix Halo 本地运行 Qwen Flash Next(IQ4XS,262k 上下文),把 NGRAM 卸载到 SSD,通过 draft-mtp 投机采样等 llama.cpp 配置已达所需智能水平,现想进一步提速:满上下文时约 50PP/14Decode。帖内附完整 llama.cpp 启动参数(KV cache f16、flash-attn、slot-save 等),并征求硬件升级(如 m.2 转 OCuLink 外接 V620 32GB)或软件层面建议,也在考虑 27B 模型是否够快。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21