16GB 显卡跑 125B MoE:Strata 能否拆到两台机器
objectivelywrongbro · reddit · 2026-10-31
一位开发者在 Reddit 求助:主机器为 Ryzen 7 7800X3D + RX 9070 XT(16GB)+ 32GB DDR5,目前在 llama.cpp(Vulkan/ROCm)上以约 65 tok/s 运行 Qwen3.8-27B(IQ3M),想跑更大的 Qwen3.8-Flash-Next(125B-A6B)。他问 Strata 是否支持跨机运行,能否用另一台 32GB DDR4 的电脑承载专家权重,或用 llama.cpp RPC 在局域网把专家分布到两台机器是否实际可行、速度是否够用,并求实测 tok/s 与首 token 延迟数据。
「Infra」频道最新
- Apple 芯片性能过剩：只有本地跑 LLM 和剪 8K 视频的人能感知差距 — vivekhaldar · 2026-10-31
- 把 Ming-TTS 移植到 Zig/MLX,M4/M5 上推理提速 18 倍 — s_busso · 2026-10-31
- 推理云 Wafer 日token量冲至 OpenRouter 第三，达 1.9T — ycombinator · 2026-10-31
- 本地跑 Kimi K3.1 要 3 万美元,博主称私有推理值得这个价 — bookwormengr · 2026-10-31
- 一行 torch.index_add_ 即可指纹识别具体 GPU，重启也无法伪造 — CatAstro_Piyush · 2026-10-31
- 4 天提升 67%,DeepSeek V4.1 Flash 单卡吞吐冲上 109 万 tok/s — BanghuaZ · 2026-10-31