128GB 内存实测：Basalt 比 Strata 快且稳，本地跑 Qwen3.8 终于能干活
x_MASE_x · reddit · 2026-11-10
Reddit 用户 xMASEx 在自组 AI 工作站（12900K / 128GB DDR4 / RTX 5070 Ti）上，用同一模型 Qwen3.8-Flash-Next IQ3S、256k 上下文，对比本地推理引擎 Strata（CLI 0.1.59）与 Basalt（0.3.2）。
Strata 表现：
- 平均解码 99.2 tok/s，prefill 约 839；VRAM 15.3GB，RAM 占用高达 69.2GB。
- 生成到阅读各阶段切换卡顿、吞吐忽高忽低；任务经常无法完成、压缩（compact）出错。
Basalt 表现：
- 平均 100–118 tok/s，峰值 145；prefill 峰值约 4200；VRAM 15.8GB，RAM 仅约 53GB。
- 生成平滑无卡顿，能持续干到项目完成，压缩正常，错误率明显更低。
作者结论：Basalt 是他自 Qwen-3.6-35B 以来第一次觉得「本地模型真的可以依赖」；下一步测试 nvfp4 量化是否进一步提升速度，还计划试 Swift 与 DeepSeek。配置除少量 VRAM 设置外均为默认。
所属事件:128GB 内存实测：Basalt 推理比 Strata 快 20% 且更稳(2 条相关)→
「Infra」频道最新
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11
- AMD 股价创历史新高：被视作 AI 建设与英伟达风险的对冲受益者 — BenBajarin · 2026-11-11
- Rain 推出 Agent Vaults：一套集成搞定智能体支付 — ai · 2026-11-11
- Google 推出两款专用 TPU,扩展机密训练与大内存场景 — TechCrunch AI · 2026-11-10
- vLLM-Omni 实测：4 卡 B300 上 2048² 图像生成仅 0.63 秒 — vllm_project · 2026-11-10
- ReCaVSR 移植 ComfyUI:一步扩散 4 倍视频超分,4090 上 36 秒 — LatentSpacer · 2026-11-10