Strata 0.1.45 前默认贪心解码致循环，附 4-bit 质量与速度实测取舍
Distinct-Pie2389 · reddit · 2026-10-18
作者在从 IQ2XS 迁移到 Unsloth UD-IQ4XS（RTX 4090 + i9-14900K + 64GB DDR5）时发现两个实用问题：
1. 老版本贪心解码 bug
Strata 0.1.45 之前，若 run config 无 sampling 块且请求未设温度，解码会退化为贪心——这正是模型输出循环的原因。0.1.45 已修复（#2685），无 sampling 请求现在使用模型卡推荐值（思考：temp 1.0 / topp 0.95 / topk 20；非思考：temp 0.7 / topp 0.8 / presence penalty 1.5）。老版本可手动加上配置块解决。
2. ROUTETAILSKIP 默认值牺牲质量
0.1.42 起默认 STRATAROUTETAILSKIP=7，跳过低排名专家换取速度，但官方 QUANTS.md 实测它使 Unsloth 4-bit 文件对 Q80 的 KL 散度翻倍（0.053→0.115）。作者 A/B 实测（UD-IQ4XS、262K 上下文）：skip 7 解码 93 t/s，skip 0 为 72-81 t/s，prefill 速度相同。作者选择质量，设为 0。
额外建议：跑一次官方校准器 tools/calibrate.py（约 30 分钟），作者机器上把 --spec-min-p 从 0.5 调到 0.7 带来约 +4% 提升；--pcie-frac 设 0.55 以上会损失 20-40% 性能。
「Infra」频道最新
- Mac Mini M5 64GB 跑 Qwen Flash Next：SSD 流式推理实测附数据 — turtleninja99 · 2026-10-18
- 单张 4090 跑满 552B DeepSeek-V4.1-Flash：27 tok/s、512K 上下文 — indrasmirror · 2026-10-18
- 6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策 — everettplays · 2026-10-18
- Rust 版 Git 服务器基于 S3 跑出每秒 7600+ 并发推送 — blaizedsouza · 2026-10-18
- 五台设备拼出大 MoE 模型：37 tok/s 跑 60k 上下文 — StayLameBro · 2026-10-18
- Ollama 美国节点即将上线,DeepSeek-V4.1-Flash-1017 将可直连 — gaganghotra_ · 2026-10-18