31美元/月租四通道EPYC+128GB:CPU跑LLM稳定128k上下文
Ne00n · reddit · 2026-11-21
一位 GPU 贫民用户分享了低价 CPU 推理方案:法国某托管公司促销,EPYC 7351P + 128GB DDR4 每月仅 31 美元。得益于四通道内存带宽,他用最新的 Qwen 3.8 Flash Next 3bit Unsloth 量化版跑出 3.6-3.8 token/s,且无论上下文多长速度都保持不变,稳定支撑 128k 上下文。
他目前正用这套配置让模型写一个游戏,效果初步看好;下一步打算试 4bit 量化(5bit 估计装不下)。对预算有限又需要长上下文的本地部署者是个可参考的性价比路径。
「Infra」频道最新
- Inkling 2 Mini 量化版发布:5.4GB 保留91%性能,跑_local党狂欢 — teortaxesTex · 2026-11-21
- 开源模型效率更低但部署更分散,反而可能推高芯片销量 — aronchick · 2026-11-21
- 传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟 — teortaxesTex · 2026-11-21
- 自研 Swift 引擎实测三权重 Bonsai 2:A14 上解码快 Qwen 32% — leo-k7v · 2026-11-21
- 62 条引用织成《The Organic Web》:一篇解剖数据重量与网络腐坏的随笔 — round · 2026-11-21
- ARK 测算 Starship 边际成本 2027 年降至 358 美元/公斤 — mitchdeg · 2026-11-21