双 RTX 3060 跑 Strata 调参实测:五项优化后解码速度从 35 提到 60+ tps
Dreeew84 · reddit · 2026-10-15
作者分享了对较新的 Strata 本地推理框架的深度调参经验,称文档难读(建议直接让 agent 读)。几个非显然的发现:
- --pcie-frac 自动选择常不准,他实测最优值是反直觉的低值 0.2;
- 调 --pool-workers 白捡约 +10% 解码速度;
- 加 --trim-stage-weights 再 +8%(但可能增加后期 swap);
- --pipeline-windows 从默认调到 6 带来近 +15%,代价是 CPU 占用升高;
- 多卡用户注意 GPU 优先级:两张同型号卡的 0/1 顺序基本随机,他的 GPU 0 恰好在慢速 PCIe 通道上,只当显存池不做计算。用 "gpu": [1,0] + "gpuorder": "asgiven" 强制让快卡做主卡后 +15%。
累计下来,Qwen Flash Next IQ3S 的解码峰值从约 35 tps 提升到平均 60 tps(空上下文代码生成),峰值 60-70 tps;满上下文和压缩会话下也比基线稳升 15-20%。
「编程与Agent」频道最新
- 实测:不在 AGENTS.md 里写明的 MCP 工具,编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集,星标 1.65 万 — Arindam_1729 · 2026-10-23
- Google Agents CLI 开放扩展系统,v1.8.0 官方支持 LangChain — rseroter · 2026-10-23
- BigQuery SQL 三种姿势调用开源模型,数据零搬运 — rseroter · 2026-10-23
- Omarchy 理念:AI 编码智能体让普通人也能随手修好系统 — mark_k · 2026-10-23