Strata 0.1.40.1 空置 10.7GB 显存不是 bug:少缓存 24% 冷专家反提速
Critical-Entry3377 · reddit · 2026-10-07
Reddit 用户在 5 卡混装平台(5060 Ti + 3090 + 2×3060)上跑 Qwen3.8 Flash-Next(125B MoE,IQ3XXS,262k 上下文),升级 Strata 引擎到 0.1.40.1 后发现约 10.7 GiB 显存空闲,排查后确认是刻意的冷专家缓存策略:
- 驻留专家数下降:0.1.39 → 0.1.40.1,GSQ-RCO 从 23,168 降到 17,515(-24%),orca 降 16%;
- 命中率几乎没掉:cache hit rate 从 99.7% 降到 98.1%,因为被裁掉的是路由占比 <2% 的冷专家;
- 生成反而更快:解码速度从 87 tok/s 升到 104 tok/s(部分得益于更低 250W 功耗墙下仍提升,引擎收益为实)。
结论:空闲显存是余量而非浪费,原来填充它的都是“死重”专家;部分空着的 3060 正是其缓存专家很少被路由到的层。
「Infra」频道最新
- 土豆地里长出 token：乌兰察布已落地超 100 个 AI 数据中心项目 — pstAsiatech · 2026-10-08
- 云端 Gemini 规划+本地 Gemma 军团:混合架构跑完 97% token 离线 — clmt · 2026-10-08
- Lambda 拟融资 40 亿美元估值 145 亿，2027 年冲刺 IPO — darian314 · 2026-10-08
- 开发 8 年的 Python 框架 Flama 2.0：把 LLM 打包成单一文件多协议对外服务 — p3rdy · 2026-10-07
- FastH3 V2 单张 RTX 5090 生成 5 秒带音频视频仅需 15 秒 — NVIDIAAI · 2026-10-07
- PyTorch 新文档揭 Grace 架构 .cpu() 隐性瓶颈:复用 pinned 缓冲区 — StasBekman · 2026-10-07