8GB 显存跑 125B 模型：Strata 分布式推理实测 900 t/s 预填充

BleynSpecnaz · reddit · 2026-10-26

Reddit 用户在 RTX 5060 Laptop（8GB 显存）+ 32GB RAM + SSD 上用 Strata 跑 Qwen 3.8 Flash Next 125B 量化版（Gyro S），实测预填充最高约 900 t/s、生成约 30 t/s，效果超过他测过的多个 Qwen 3.6 35B 微调版。配图对比显示其生成的体素场景明显优于 35B 模型。

关键配置参数

• --mmap-experts：放不下的专家权重放到 SSD
• --kv-resident 20480：KV cache 在显存/内存间分配（最低值）
• --vram-reserve-mib 500900：为其他任务预留显存
• --pcie-frac 0.35：控制 PCIe 读取比例，可用 --calibrate 校准
• STRATARESIDENTHEADROOMGIB=4：为系统预留内存，Windows 建议更高

经验要点

• Gyro S 量化在质量与速度间平衡最好，其他量化易陷入重复循环或非英语输出差
• 不用 MTP：虽提升生成速度但挤占显存降低预填充，10GB 以上显存才值得开
• Vision 跑在 CPU 上，每图 1-2 秒，省下大量显存
• 131K 以上上下文时不要用 --parallel，易 OOM，改用 --conversation-cache

原文链接 →

「Infra」频道最新

• 4 张 DGX Spark 约 2.8 万美元跑 DeepSeek 官方权重：1M 上下文 66 tok/s — ricklamers · 2026-10-26
• Meta 递交 350 亿美元融资文件,另有 600 亿 ATM 计划待启动 — RihardJarc · 2026-10-26
• 算力买家扎堆后共识：电网和住宅供电才是真瓶颈，ARM 芯片被看好 — TheZachMueller · 2026-10-26
• PyTorch 大会现场：GenieX 端侧跑通小 VLM，SageMaker 微调加本地推理闭环 — PyTorch · 2026-10-26
• 开源工具 Giraffe：检测 LLM 服务配置变更后负载是否照常扛得住 — ImmediateBig8479 · 2026-10-26
• 日本玩家自嘲式问答走红：玩本地 LLM 能赚钱吗？只有英伟达赚 — TheZachMueller · 2026-10-26

更多「Infra」频道 AI 资讯 →