同模型实测:Basalt 比 Strata 快 20%、省 16GB 内存且能跑完任务
x_MASE_x · reddit · 2026-11-10
作者在自己的 AI 主机(12900K/128GB DDR4/5070Ti)上用同一模型 Qwen3.8-Flash-Next iq3s、256k 上下文对比两个推理引擎:Strata CLI 0.1.59 平均 99.2 tps、内存占用 69.2GB,且阶段切换卡顿、压缩失败、任务无法跑完;Basalt 0.3.2 平均 100-118 tps(峰值 145)、内存仅约 53GB,生成流畅、压缩正常,能持续跑完整个项目。结论是 Basalt 目前才是真正「可依赖的本地模型」体验,下一步将测试 nvfp4 量化是否进一步提速。
所属事件:128GB 内存实测：Basalt 推理比 Strata 快 20% 且更稳(2 条相关)→
「Infra」频道最新
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11
- AMD 股价创历史新高：被视作 AI 建设与英伟达风险的对冲受益者 — BenBajarin · 2026-11-11
- Rain 推出 Agent Vaults：一套集成搞定智能体支付 — ai · 2026-11-11
- Google 推出两款专用 TPU,扩展机密训练与大内存场景 — TechCrunch AI · 2026-11-10
- vLLM-Omni 实测：4 卡 B300 上 2048² 图像生成仅 0.63 秒 — vllm_project · 2026-11-10
- ReCaVSR 移植 ComfyUI:一步扩散 4 倍视频超分,4090 上 36 秒 — LatentSpacer · 2026-11-10