2×5060 Ti 16G 跑 Qwen3.8 Flash 达 70 tok/s,再加两张值不值
Pear_Virtual · reddit · 2026-11-16
Reddit 本地部署讨论:发帖人现有 2 张 5060 Ti 16GB,跑 basalt 引擎的 Qwen3.8 Flash next IQ3S,decode 约 70+ tok/s、prefill 约 900 tok/s。想再买 2 张凑 4 张让全部 expert 常驻,目标 150 tok/s 以上;配置为 64GB DDR4 + X570,可把主 PCIe 槽 bifurcation 成 8x+8x 或 4x4x4x4。也在纠结同价位的双 3090 方案,并提到本地 128GB DDR4 价格过高不可行。评论区围绕 PCIe 拆分可行性与显存容量权衡展开。
「Infra」频道最新
- AI 股连续第二日下跌:Nebius 跌近 9%、CoreWeave 跌 6% — GaryMarcus · 2026-11-16
- 百度 Q3:AI 云基建收入涨 94%,AI 业务占核心营收 53% — Baidu_Inc · 2026-11-16
- RTX Spark 笔记本跑 Llama v1 应用,LFM Omni 生成达 100 tok/s — LysandreJik · 2026-11-16
- llama.cpp 团队推本地 AI 应用 Llama:数据不出本机,支持 LFM3-Omni — mervenoyann · 2026-11-16
- 阿里腾讯字节都在海外建数据中心,但并非每家都买昇腾芯片 — teortaxesTex · 2026-11-16
- Sebastian Raschka 呼吁:开源 LLM 生态缺一个「积木式」组件 API — rasbt · 2026-11-16