实测 Strata 路由优化:解码提速 45%,质量损失比想象中小
blakeman8192 · reddit · 2026-10-29
作者在本地硬件上用 Qwen 3.8 Flash Next IQ3S 实测 Strata 推理引擎(v0.2.7.1)的两项路由优化:
- STRATAROUTEPRIOR:给已在 VRAM 中缓存的专家打 1.5 分加成(约 4.48 倍有效权重),让缓存的专家替代分数接近的未缓存专家。
- STRATAROUTETAILSKIP:默认值为 7,跳过未缓存专家中排位 7-10 的计算,直接丢弃其贡献。
测试结果(IFEvalCode / AIME 2026 / IFEval):
- 两项全关:72.3 tok/s,代码 20%、数学 76.7%、指令遵循 81.3%
- 仅 Route prior:104.6 tok/s(+45%),代码 16.7%、数学 66.7%、指令 78.7%
- 仅 Tail skip:83.9 tok/s,数学掉到 63.3%,劣化明显
第二轮用更大思考预算复测差异题后,Route prior 的质量损失基本被长推理抹平(AIME 80%、代码 47.4% 反超),而叠加 Tail skip 反而最差(71.8%)。
结论:除最难任务外,建议开启 Route prior;Tail skip 性价比低,劣化大于提速收益。
「Infra」频道最新
- 按实际 KV cache 命中计费存争议,OpenRouter 被指有刷量嫌疑 — charles_irl · 2026-10-29
- PyTorch 2.15 发布:NCCL 新后端转正,Blackwell 解码提速 — PyTorch · 2026-10-29
- 美国数据中心建设年化达 850 亿美元,同比暴涨 73% — BenBajarin · 2026-10-29
- Azure Cosmos DB 官方方案:给并行 AI Agent 各配独立隔离数据库 — adnan_hashmi · 2026-10-29
- 空头报告称 Cerebras 晶圆级芯片约两年即报废,股价创新低 — himanshustwts · 2026-10-29
- 苹果内存升级定价离谱:256GB 加 $3600,512GB 要加近 1.4 万美元 — firstadopter · 2026-10-29