4090 48G 实测 Strata:会话驻留快 35 倍,n-gram 表进内存仅提升约 1%
Shot-Ad-4147 · reddit · 2026-10-04
作者在 i9-13900K + RTX 4090 48GB(刷 48G 显存)+ 128GB DDR5 机器上,用 91,836 token 的真实长文本实测 Strata 0.1.38 的推理调优。
n-gram 表存放位置的 4 组对照
- 全表驻留内存(+28.4 GiB RAM):warm prefill 仅 +0.65%、decode 仅 +1.2%——SSD 上的 n-gram 表在这台机器上根本不是瓶颈,不值得堆内存。
- --ple-io mmap 反而更差:首个长 prompt 冷启动 72.8s vs 19.5s(慢 3.7 倍),且会静默禁用 row-cache。
- 默认约 90MB 的 row-cache 已吸收 92% 的可复用磁盘流量(3,114MB → 242MB)。
方法论教训:作者此前报告的 +4.7% 是错误基线——相同配置跨会话的波动高达 11.5%(149.1 → 166.3 tok/s),A/B 测试必须在同一会话内背靠背跑,否则发布的是噪声。
最大的收益来自会话驻留(35 倍):配置 --conversation-cache-mib 8192 + 4 个 slot 后,返回一个 91,836 token 的旧对话从 19.5s 降到 537ms,仅占 3.1GB 内存。
其他调优点:--prefill auto:32768 在 78.7K prompt 上带来 +9.7% prefill / +13.6% decode;--calibrate 又通过把 CPU workers 从 23 调到 12 找到 +3.2%。基线吞吐:decode 128-151 tok/s,prefill 4,249-5,154 tok/s。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20