双卡跑 262K 上下文:三个补丁把 Strata 推理提速至 130 tok/s
Fz1zz · reddit · 2026-10-03
Reddit 用户分享在 RTX 5090(32GB)+ RTX 4070 Ti SUPER(16GB,接芯片组 PCIe x1 仅 0.8GB/s)+ 31GB 内存的普通主机上,用 Strata 引擎跑 Qwen3.8-Flash-Next(ISTA GSQ-RCO IQ3XXS 量化,专家文件超内存)达成 262K 全上下文推理的完整过程。
- 基线:官方 v0.1.33 层拆分 36,80K prompt 仅 890 tok/s,双会话切换要 20-48 秒
- 三个自写补丁:
- prompt 全部在大卡上 prefill(移植 Strata PR #269),之后只把用到的 cell 状态复制给小卡,会话「停车」切换降至 0.6-1.2 秒
- 内存压力下 MADVWILLNEED 预读失效导致海量 major page fault,改用逐片 pread 后,每次基准的 major fault 从 2400 万降到 1.4 万
- --prefill auto:32768 加大 prefill 块,块数减少 4 倍显著省去专家重流
最终配置(int8 KV、每层驻留 32K cell、MTP spec 4、视觉开启)成绩:80K 新 prompt 1796 tok/s(45 秒)、解码中位数 128-134 tok/s、80K 会话续轮 6 秒,40K 针测试与双会话停车测试全对。补丁、安装脚本与基准工具已开源:github.com/ExTV/strata-5090-4070。
「Infra」频道最新
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19