3360 美元攒 256GB 内存 Threadripper,求跑大模型推理速率建议
sitytitan · reddit · 2026-10-26
一位 Reddit 用户晒出 3360 美元的本地推理主机配置:2x 16GB 4060 Ti + 1x 12GB 4070 共 44GB 显存,3960X 线程撕裂者平台配 256GB DDR4 四通道 3200MHz 内存,内存带宽约 100GB/s 成为主要瓶颈。他在跑 Qwen 27B 256K 上下文后想尝试 DeepSeek、GLM 等更大模型,询问能拿到怎样的 token/s。
「Infra」频道最新
- 自建本地推理集群日耗 24 万度电，网友戏称「中彩票的信号」 — TheZachMueller · 2026-10-26
- Gartner：2030 年前超 80% neocloud 将无法独立存活，4 万亿美元资产面临减值 — rohanpaul_ai · 2026-10-26
- 工程师自建电信控制面异常检测：全天候探测器+本地模型自动 RCA — l4rz · 2026-10-26
- 软银拟在马来西亚投 500 亿美元建 AI 数据中心 — VectorWireAI · 2026-10-26
- 文本分块算法再优化：最坏延迟从 37.1 秒压到 585 毫秒 — DanielLockyer · 2026-10-26
- 智能电视为什么便宜：Samsung 常驻麦克风与内容识别，数据分享给约 400 个合作伙伴 — FinanceYF5 · 2026-10-26