零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12%
PathfinderTactician · reddit · 2026-11-22
Reddit 用户分享数月来的 Strata 本地部署调优经验,前提是零输出质量下降,不用贪心解码类捷径。要点:
- 采样:Flash Next 不要用默认采样,用 Alibaba 推荐参数(temperature 1.0、topp 0.95、topk 20、minp 0)。
- 并行:"parallel": 2 跑双 Train,每个 Train 槽仅占约 0.4–0.6 GiB 显存,第二个 Train 复用第一个的 KV cache;一个 Train 在跑测试时另一个仍全速解码,等效吞吐大增。
- 层分配(最大收益点):不要用 layersplit: auto。auto 假设缓存覆盖 97.4% 的路由,实测仅 78%,专家未命中集中在一块 GPU(26 层只有 2455 缓存槽,另一块 22 层却有 5984)。改为 "layersplit": "16"(也可试 20)后,配图数据显示 CPU 专家未命中 11.3%→7.0%,各上下文段解码提速约 8–13%(如 150K 以下 81.0→91.2 tok/s)。
- 锁内存:STRATANOLARGEPAGES=1 配合 Windows「锁定内存中的页」,防止专家权重被分页到磁盘。
- KV 复用:加 "--prompt-cache-every", "0" 才能对相同前缀做完整 KV cache 复用。
- CUDA 长时间运行减速:解码几小时后可能掉速一半,根因在 src/core/device.cu 中 HIP 构建已描述的专家缓存占满显存、WDDM 把内存挪到系统 RAM 的问题,可通过自定义构建修复。
「编程与Agent」频道最新
- Walmart 与 Muse 将上线首个 agent-to-agent 智能体商务集成 — AccBalanced · 2026-11-22
- 一个 MCP 服务器接九个科研仓库,缺依赖直接报 NOT_INSTALLED — Emergency-Tutor-7 · 2026-11-22
- Suno 推出音乐视频生成工具,可经 MCP 接入 Grok Bot 全程指挥 — thesoragirls · 2026-11-22
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22
- 用户吐槽 GPT-5.5 难用:写冗余代码、乱建重复函数 — yacineMTB · 2026-11-22