双 3090 本地跑 Strata 实测：IQ3_S 100 tok/s vs IQ4_XS 30 tok/s 的取舍
klasyer · reddit · 2026-10-28
Reddit 用户求助优化本地 Strata 部署，但附上了有参考价值的实测数据：双 RTX 3090（3900X、128GB RAM、2TB NVMe）上，Unsloth 量化 IQ3S 输出约 100 tok/s、IQ4XS 约 30 tok/s、Q4KXL 20 tok/s 以下；作者倾向 IQ4XS 以减少幻觉。当前跑法为 Docker 容器（0.2.2-cuda13 镜像），配置 256K 上下文、双卡、KV cache 用 q40、10 分钟空闲卸载、THOROUGH 调优，帖子附完整 docker-compose YAML，评论区讨论进一步调优空间。
「Infra」频道最新
- Row-Bot:qwen3.8 27B 本地跑通小店晨间补货全流程 — Acceptable-Object390 · 2026-10-28
- 单卡 5090 跑满精度 DeepSeek V4.1:SSD 流式推理达 1770 tok/s 预填充 — Front_Eagle739 · 2026-10-28
- Richard Socher 团队开源 Flint：40B 参数 2.5B 激活，Mac 本地跑编码 — altryne · 2026-10-28
- Cantor:仅 3 倍 CY27 市盈率,AI 下行风险已被 SK 海力士股价消化 — firstadopter · 2026-10-28
- vLLM 语义路由团队联合 AMD 发布 Vela 3.0:最小 380M 零样本分类超 GPT-5-mini — vllm_project · 2026-10-28
- 华尔街为 AI 数据中心狂烧钱，新一轮焦虑开始蔓延 — shiringhaffary · 2026-10-28