31美元/月租四通道EPYC+128GB:CPU跑LLM稳定128k上下文

Ne00n · reddit · 2026-11-21

一位 GPU 贫民用户分享了低价 CPU 推理方案:法国某托管公司促销,EPYC 7351P + 128GB DDR4 每月仅 31 美元。得益于四通道内存带宽,他用最新的 Qwen 3.8 Flash Next 3bit Unsloth 量化版跑出 3.6-3.8 token/s,且无论上下文多长速度都保持不变,稳定支撑 128k 上下文。

他目前正用这套配置让模型写一个游戏,效果初步看好;下一步打算试 4bit 量化(5bit 估计装不下)。对预算有限又需要长上下文的本地部署者是个可参考的性价比路径。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →